[논문 리뷰] Direction matters: hand pose estimation from local surface normals

Chengde Wan, Angela Yao외 1명|arXiv (Cornell University)|2016. 04. 10.

Hand Gesture Recognition Systems참고 문헌 23인용 수 12

한 줄 요약

이 논문은 단일 깊이 영상에서 3D 손 자세 추정을 위한 계층적 회귀 프레임워크를 제안한다. 국소 표면 법선을 사용하여 강력한 국소 기준 프레임을 수립한다. 표면 법선을 기반으로 한 각도 차이 특징을 갖춘 프레임 조건부 회귀 숲을 도입함으로써, ICLV에서는 최신 기술 수준의 성능을 달성하고, MSRA에서는 경쟁적인 결과를 내며, 이전의 판별적 방법들보다 최대 14%까지 오차율을 낮춘다. 이는 평면 내 회전에 대해 불변이며, 데이터 증강에 의존하는 것을 줄인다.

ABSTRACT

We present a hierarchical regression framework for estimating hand joint positions from single depth images based on local surface normals. The hierarchical regression follows the tree structured topology of hand from wrist to finger tips. We propose a conditional regression forest, i.e., the Frame Conditioned Regression Forest (FCRF) which uses a new normal difference feature. At each stage of the regression, the frame of reference is established from either the local surface normal or previously estimated hand joints. By making the regression with respect to the local frame, the pose estimation is more robust to rigid transformations. We also introduce a new efficient approximation to estimate surface normals. We verify the effectiveness of our method by conducting experiments on two challenging real-world datasets and show consistent improvements over previous discriminative pose estimation methods.

연구 동기 및 목표

• 시야각의 변동성과 자기 음영과 같은 도전적인 조건에서도 단일 깊이 영상에서 3D 손 자세 추정의 정확도를 향상시키는 것.
• 국소 표면 법선을 기준 프레임으로 활용하여 손 자세 추정에서 강성 변환에 대한 민감도를 줄이는 것.
• 평면 내 회전에 불변이며, 데이터 증강이 필요 없는 효율적인 특징을 개발하여 회귀에 활용하는 것.
• 국소 기하학적 특징과 이전 추정치에서 유도된 조건부 특징을 사용하여 손목에서 손끝까지의 계층적 관절 회귀를 가능하게 하는 것.
• GPU 의존 없이 실시간 성능을 달성하여 HCI 및 AR 응용 분야에 적합한 것.

제안 방법

• 단위 벡터 분포에 맞게 조정된 랜덤 포레스트 기반의 회귀 방법을 사용하여 깊이 점군에서 표면 법선을 추정한다.
• 국소 표면 법선 간의 새로운 각도 차이 특징을 도입하며, 이는 평면 내 회전에 대해 불변이며, 깊이 차이 특징보다 더 강인하다.
• 각 회귀 단계에서 현재 점의 법선 또는 이전에 추정된 관절 위치로 정의된 국소 기준 프레임을 사용하는 프레임 조건부 회귀 숲(FCRF)을 제안한다.
• FCRF는 국소 기준 프레임 기반으로 관절 이동량을 회귀함으로써 전역 강성 변환에 대한 강인성을 향상시킨다.
• 손목에서 손끝까지의 계층적 회귀가 이루어지며, 각 단계는 이전 추정치와 국소 기하학적 특징에 조건을 부여한다.
• 수형 기반 손 모델을 사용하여 뼈대 제약 조건을 암묵적으로 인코딩하고 관절 추정의 분산을 줄인다.

실험 결과

연구 질문

• RQ1 국소 표면 법선은 깊이 영상에서 3D 손 자세 추정을 향상시키는 효과적인 기하 특징으로 사용될 수 있는가?
• RQ2 깊이 차이 대신 법선 간의 각도 차이를 사용할 경우, 시야각 변화와 강성 변환에 대해 더 강인한가?
• RQ3 국소 기준 프레임에 조건부가 된 계층적 회귀 프레임워크는 직접 관절 추정에 비해 정확도와 일반화 능력을 향상시킬 수 있는가?
• RQ4 기존 방법에 비해 제안된 방법은 어느 정도 데이터 증강에 대한 의존도를 줄였는가?
• RQ5 극도로 구부러진 자세와 자기 음영이 있는 실세계 데이터셋에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• ICLV 데이터셋에서 제안된 방법은 판별적 방법 중 최신 기술 수준의 성능을 달성하며, 이전 방법들보다 뚜렷이 뛰어나다.
• MSRA 데이터셋에서 이 방법은 40mm 임계값에서는 최고의 기존 방법과 동등하며, 전체 손가락 관절을 함께 회귀할 경우 25–30mm 범위에서 약 5% 더 높은 성능을 보인다.
• Cascaded Regression과 Collaborative Filtering에 비해 40mm 이하 오차율에서 약 14% 감소함으로써, 새로운 자세에 대한 일반화 능력이 뛰어나다는 것을 시사한다.
• 법선 기반의 각도 차이 특징은 평면 내 회전에 대해 불변이며, 데이터 증강이 필요 없게 되어 훈련과 추론을 단순화한다.
• 법선 또는 추정된 관절에 기반한 국소 기준 프레임의 사용은 강성 변환에 대한 강인성을 향상시키고 초기화에 대한 민감도를 줄인다.
• 단위 벡터 분포에 적합한 랜덤 포레스트 기반의 법선 추정 방법은 효율적이며 실시간 추론을 가능하게 한다.