[논문 리뷰] Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input

Srinath Sridhar, Franziska Mueller외 4명|arXiv (Cornell University)|2016. 10. 16.

Hand Gesture Recognition Systems참고 문헌 34인용 수 29

한 줄 요약

이 논문은 단일 RGB-D 카메라를 사용하여 손과 물체 자세의 실시간 동시 3차원 추적을 위한 방법을 제안한다. 3차원 관절 구조를 가진 가우시안 혼합 정렬에 새로운 음영 및 접촉 정규화 항을 도입하고, 다층 랜덤 포레스트 분류를 통해 정확도를 향상시켰다. 이 방법은 기준 및 새로 도입된 손-물체 상호작용 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 25–30 Hz 성능을 구현한다.

ABSTRACT

Real-time simultaneous tracking of hands manipulating and interacting with external objects has many potential applications in augmented reality, tangible computing, and wearable computing. However, due to difficult occlusions, fast motions, and uniform hand appearance, jointly tracking hand and object pose is more challenging than tracking either of the two separately. Many previous approaches resort to complex multi-camera setups to remedy the occlusion problem and often employ expensive segmentation and optimization steps which makes real-time tracking impossible. In this paper, we propose a real-time solution that uses a single commodity RGB-D camera. The core of our approach is a 3D articulated Gaussian mixture alignment strategy tailored to hand-object tracking that allows fast pose optimization. The alignment energy uses novel regularizers to address occlusions and hand-object contacts. For added robustness, we guide the optimization with discriminative part classification of the hand and segmentation of the object. We conducted extensive experiments on several existing datasets and introduce a new annotated hand-object dataset. Quantitative and qualitative results show the key advantages of our method: speed, accuracy, and robustness.

연구 동기 및 목표

• 복잡한 상호작용 중 실시간, 정확하고 강인한 손과 물체 자세의 동시 추적 문제를 해결한다.
• 다중 카메라 설정이나 고비용 최적화 파이프라인에 의존하는 이전 방법의 한계를 극복한다.
• 단일 RGB-D 센서를 사용한 일반적인 하드웨어에서도 음영과 손-물체 접촉을 처리하면서 실시간 성능을 확보한다.
• 새로운 완전히 애너테이션 처리된 다양한 손-물체 상호작용 데이터셋을 개발하여 기준 데이터셋으로 활용한다.
• 분류 기반 부분 분류와 생성 기반 최적화를 통합하여 추적의 안정성과 음영에 의한 복구 능력을 향상시킨다.

제안 방법

• 핵심 자세 최적화 프레임워크로 3차원 관절 구조 가우시안 혼합 정렬을 사용하여 ICP를 일반화하고 명시적 대응 검색을 피한다.
• 손잡이 물리학에서 유도된 새로운 분석 정규화 항을 도입하여 음영 및 손-물체 접촉 지점을 분석적으로 모델링함으로써 강인성을 향상시킨다.
• 시야각 선택 기능을 갖춘 다층 랜덤 포레스트 분류기를 사용하여 최적화를 안내하고 RGB-D 입력에서 손 부위와 물체를 분할한다.
• 다양한 자세 제안을 동시에 평가하고 최적의 해를 선택하는 변분 최적화 전략을 적용한다.
• 자세 최적화 이전에 효율적으로 물체 및 손 영역을 추출하기 위해 깊이 클러스터링 및 전처리 단계를 활용한다.
• 분류 단계는 GPU에서, 나머지 단계는 CPU에서 실행하여 실시간 성능(25–30 Hz)을 달성한다.

실험 결과

연구 질문

• RQ1 단일 일반적인 RGB-D 카메라만을 사용하여 실시간 손-물체 동시 추적을 달성할 수 있는가?
• RQ2 음영과 손-물체 접촉을 분석적으로 어떻게 모델링할 수 있으며, 이는 추적 강인성을 향상시키는가?
• RQ3 분류 기반 부분 분류가 생성 기반 자세 최적화 프레임워크의 안정성과 복구 능력을 향상시킬 수 있는가?
• RQ4 기존 표준 및 새로운 기준 데이터셋에서 제안된 방법이 이전 최신 기술 수준의 방법과 정량적으로 어떻게 비교되는가?
• RQ5 개별 구성 요소(예: 음영 처리, 접촉 항목)가 추적 정확도와 강인성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 표준 CPU와 GPU 환경에서 25–30 Hz의 실시간 성능을 달성하여 상호작용 가능한 응용 프로그램을 가능하게 한다.
• Dexter 데이터셋에서 평균 손끝 오차를 17.2 mm로 줄였으며, 이는 연속적인 3차원 공간적 근접성 모델링 덕분에 이전 작업(19.6 mm)을 초월한 성능이다.
• 제거 실험 결과, 음영 처리, 접촉 항목, 시야각 선택 기능을 비활성화할 경우 오차가 크게 증가함을 확인하여 이들이 강인성 확보에 핵심적인 역할을 한다는 것을 입증한다.
• 이 방법은 다양한 형태, 크기, 색상의 물체를 잡고 돌리거나 다루는 복잡한 상호작용을 실시간으로 성공적으로 추적한다.
• 질적 결과를 통해 분류 기반 기법을 통해 장기적인 음영 상황에서도 복구가 가능함을 보여주었으며, 가시성 상실 이후의 복구 능력을 입증한다.
• 저자들은 향후 기준 테스트 및 연구를 지원하기 위해 공개된 새로운 완전 애너테이션 처리된 손-물체 상호작용 데이터셋을 제작하였다.