[논문 리뷰] Back to RGB: 3D tracking of hands and hand-object interactions based on short-baseline stereo

Paschalis Panteleris, Antonis Argyros|arXiv (Cornell University)|2017. 05. 15.

Hand Gesture Recognition Systems참고 문헌 54인용 수 5

한 줄 요약

이 논문은 깊이 복원을 피하기 위해 스테레오 뷰 간의 색상 일관성 최대화를 최적화 문제로 공식화함으로써, 단지 일반적인 단거리 기준 RGB 스테레오 카메라로만 작동하는 새로운 스테레오 기반 3D 손 및 손-객체 추적 방법을 제안한다. 이는 깊이 센서 없이도 정확하고 실시간 3D 손 추적을 가능하게 하며, 기존의 최첨단 RGBD 기반 방법들과 비슷하거나 더 뛰어난 성능을 달성한다.

ABSTRACT

We present a novel solution to the problem of 3D tracking of the articulated motion of human hand(s), possibly in interaction with other objects. The vast majority of contemporary relevant work capitalizes on depth information provided by RGBD cameras. In this work, we show that accurate and efficient 3D hand tracking is possible, even for the case of RGB stereo. A straightforward approach for solving the problem based on such input would be to first recover depth and then apply a state of the art depth-based 3D hand tracking method. Unfortunately, this does not work well in practice because the stereo-based, dense 3D reconstruction of hands is far less accurate than the one obtained by RGBD cameras. Our approach bypasses 3D reconstruction and follows a completely different route: 3D hand tracking is formulated as an optimization problem whose solution is the hand configuration that maximizes the color consistency between the two views of the hand. We demonstrate the applicability of our method for real time tracking of a single hand, of a hand manipulating an object and of two interacting hands. The method has been evaluated quantitatively on standard datasets and in comparison to relevant, state of the art RGBD-based approaches. The obtained results demonstrate that the proposed stereo-based method performs equally well to its RGBD-based competitors, and in some cases, it even outperforms them.

연구 동기 및 목표

• 단지 수동적인 단거리 기준 RGB 스테레오 카메라만을 사용하여 정확하고 실시간으로 손과 손-객체 상호작용을 추적할 수 있도록 하는 것.
• 손에 대해 일반적으로 노이즈가 많거나 흐린 스테레오 기반 깊이 복원의 한계를 극복하기 위해 명시적인 3D 복원을 피하는 것.
• 특수 깊이 센서(예: RGBD 카메라) 없이도 고정밀 3D 손 추적 가능성을 입증하는 것.
• 단일 손 추적, 손-객체 상호작용, 두 손의 상호작용과 같은 도전적인 시나리오에서 방법을 평가하는 것.
• 스테레오 뷰 간의 색상 일관성이 3D 손 자세 추정을 위한 강력하고 효과적인 최적화 목표로 기능할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 주어진 손 자세 가설에 대해 왼쪽 및 오른쪽 스테레오 뷰 간의 사진학적 일관성을 최대화하는 최적화 문제로 3D 손 추적을 공식화한다.
• 3D 손 모델을 사용하여 현재 자세 가설을 두 카메라 뷰에 투영하는 생성적, 가설-검증 프레임워크를 사용한다.
• 최적화 목표는 두 뷰의 대응 픽셀 간의 색상 차이(예: L2 노름)의 합이며, 이를 최소화하여 가장 일관성이 높은 자세를 찾는다.
• 고차원의 손 자세 공간을 효율적으로 탐색하기 위해 입자 군집 최적화(PSO) 알고리즘을 사용한다.
• 깊이 맵이나 디스parity 추정이 필요 없으며, 낮은 무늬, 균일한 색상의 손에서 스테레오 매칭 오류를 피한다.
• 공정한 비교를 위해 배경 분할을 통일하게 적용하지만, 성능에 미치는 영향이 미미함을 보여주어 배경 혼잡함에 대해 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 단지 단거리 기준 RGB 스테레오만을 사용하여 정확한 3D 손 추적을 달성할 수 있는가?
• RQ2 스테레오 깊이가 신뢰할 수 없을 경우, 색상 일관성 기반 최적화 접근법이 깊이 기반 방법보다 우월하거나 동등한 성능을 내는가?
• RQ3 실세계 시나리오, 특히 RGBD 센서가 실패하는 외부 환경에서 제안된 방법의 성능은 어떠한가?
• RQ4 전경 분할이 스테레오 기반 방법의 성능에 어느 정도 영향을 미치는가?
• RQ5 이 방법은 손-물체 조작 및 두 손의 조율과 같은 복잡한 상호작용을 처리할 수 있는가?

주요 결과

• 제안된 스테레오 기반 방법은 표준 데이터셋, 특히 HO 및 TH 벤치마크에서 최첨단 RGBD 기반 방법과 비슷하거나 더 뛰어난 추적 정확도를 달성한다.
• TH 데이터셋에서 PSO 계산 예산을 더 높게 설정했을 때 RGBD 기반 기준선을 초월함을 보여주어 강력한 확장성 잠재력을 입증한다.
• RGBD 센서가 적외선 간섭으로 인해 실패하는 외부 환경에서도 방법이 강건하게 성능을 유지함을 입증하였다.
• 전경 분할은 평균 0.3 mm 이내로 성능 향상을 약간만 기여하여, 정확한 분할 없이도 방법이 강건함을 보여준다.
• 스테레오에서 유도된 깊이 맵을 입력으로 넣었을 때 깊이 기반 방법보다 훨씬 덜 발산함을 입증하여, 직접적인 깊이 복원이 손 추적을 위한 나쁜 중간 단계임을 증명한다.
• 계산적으로 효율적이며 실시간 응용에 적합함을 실세계 시퀀스에서의 성능을 통해 입증하였으며, 후처리나 분할 없이도 가능하다.