[논문 리뷰] BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis

Shanxin Yuan, Qi Ye외 3명|arXiv (Cornell University)|2017. 04. 09.

Human Pose and Action Recognition참고 문헌 28인용 수 30

한 줄 요약

이 논문은 21개 관절의 손 자세 애너테이션을 갖춘 220만 장의 깊이 영상으로 구성된 대규모 벤치마크인 BigHand2.2M을 소개한다. 이는 새로운 6차원 자기장 센서 기반 추적 시스템과 역운동역학을 활용해 자동으로 고정밀도로 애너테이션된 것으로, 크로스벤치마크 손 자세 추정에서 최신 기술 수준의 성능을 달성하며, 특히 코그니티브 손 자세 추정에서 뛰어난 성능을 발휘한다. 이 데이터셋을 기반으로 훈련된 컨볼루션 네트워크는 평균 오차 15–20mm를 기록한다.

ABSTRACT

In this paper we introduce a large-scale hand pose dataset, collected using a novel capture method. Existing datasets are either generated synthetically or captured using depth sensors: synthetic datasets exhibit a certain level of appearance difference from real depth images, and real datasets are limited in quantity and coverage, mainly due to the difficulty to annotate them. We propose a tracking system with six 6D magnetic sensors and inverse kinematics to automatically obtain 21-joints hand pose annotations of depth maps captured with minimal restriction on the range of motion. The capture protocol aims to fully cover the natural hand pose space. As shown in embedding plots, the new dataset exhibits a significantly wider and denser range of hand poses compared to existing benchmarks. Current state-of-the-art methods are evaluated on the dataset, and we demonstrate significant improvements in cross-benchmark performance. We also show significant improvements in egocentric hand pose estimation with a CNN trained on the new dataset.

연구 동기 및 목표

• 자연스러운 손 동작과 다양한 시점을 포함하지만, 대규모로 정확하게 애너테이션된 실세계 손 자세 데이터셋이 부족한 문제를 해결하기 위해.
• 수작업 및 반자동 애너테이션 방법의 한계를 극복하기 위해, 이는 시간이 오래 걸리고 오류가 발생하기 쉬운 경향이 있다.
• 제한적이지 않은 센서 설정과 역운동역학을 활용해 21개 관절의 손 자세를 자동으로 고정밀도로 애너테이션할 수 있도록 하기 위해.
• 특히 코그니티브 환경에서의 성능을 향상시키기 위해, 최신 기술 수준의 손 자세 추정 모델을 평가하고 발전시키기 위한 종합적인 벤치마크를 만들기 위해.
• BigHand2.2M에서 훈련한 모델이 기존의 벤치마크 전반에서 뛰어난 일반화 능력과 성능을 발휘함을 입증하기 위해.

제안 방법

• 손에 부착된 여섯 개의 6D 자기장 센서(손가락 끝 다섯 개, 손바닥 한 개)를 사용해 실시간으로 고정밀도 3차원 관절 위치를 측정하였다.
• 운동역학적 제약 조건이 적용된 31개 자유도의 손 모델을 기반으로 역운동역학을 적용해 센서 데이터로부터 21개 관절의 손 자세 애너테이션을 계산하였다.
• 외부 힘을 가미하지 않고 자연스러운 손 자세 공간의 최대한의 커버리지 확보를 위해 체계적인 손 움직임 프로토콜을 설계하였다.
• Intel RealSense SR300를 사용해 640×480 해상도의 깊이 영상을 촬영하여 딥러닝 모델에 적합한 고품질 입력을 확보하였다.
• 전면 시점 커버리지가 완전한 220만 프레임과 코그니티브 시점에서의 29만 프레임을 확보하여 기존의 코그니티브 벤치마크를 크게 확장하였다.
• BigHand2.2M 데이터셋을 기반으로 3D 컨볼루션 네트워크를 훈련하고, NYU, ICVL 및 코그니티브 데이터를 포함한 여러 벤치마크에서 크로스벤치마크 및 10중 교차검증 프로토콜을 사용해 평가하였다.

실험 결과

연구 질문

• RQ1 자동이고 침습적이지 않은 센서 기반 방법을 통해 고정밀도와 광범위한 자세 커버리지가 확보된 대규모 실세계 손 자세 데이터셋을 구축할 수 있는가?
• RQ2 BigHand2.2M에서 훈련한 모델이 NYU 및 ICVL과 같은 기존의 벤치마크에서 일반화 능력과 성능을 얼마나 향상시키는가?
• RQ3 BigHand2.2M에서 훈련한 CNN이 이전에 작은 규모의 훈련 데이터로 인해 제한되었던 코그니티브 손 자세 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 BigHand2.2M의 애너테이션 품질과 프로토콜은 자세의 다양성과 관절 정확도 측면에서 이전의 벤치마크와 비교해 어떻게 다른가?
• RQ5 애너테이션 불일치와 다른 손 측정 방법 체계가 크로스벤치마크 평가 결과에 미치는 영향은 어떠한가?

주요 결과

• BigHand2.2M 데이터셋은 220만 장의 깊이 영상과 21개 관절의 손 자세 애너테이션을 포함하며, 이는 이전의 벤치마크보다 훨씬 넓고 조밀한 자연스러운 손 자세 범위를 커버한다.
• BigHand2.2M에서 훈련한 CNN은 크로스벤치마크 평가에서 평균 오차 15–20mm를 기록했으며, 이는 이전의 최신 기술 수준 메서드인 DeepPrior와 FeedLoop를 초월한 성능이다.
• BigHand2.2M에서 훈련한 모델는 훈련 과정에서 NYU 데이터를 전혀 보지 못했음에도 불구하고, NYU 및 ICVL에서 기존 최고의 방법들과 비교해 유사한 성능을 달성했다.
• 29만 프레임의 코그니티브 서브셋(기존 코그니티브 벤치마크보다 130배 이상 큼)을 활용해 CNN이 코그니티브 손 자세 추정에서 최신 기술 수준의 성능을 달성했으며, 이는 제3자 시점 성능과도 동일한 결과를 기록했다.
• 검증 세트에서 90%의 관절이 5mm 이내의 오차로 추정되었으며, 이는 높은 애너테이션 품질과 모델 신뢰도를 입증한다.
• 정성적 결과를 통해 모델이 새로운 자세에 대해 잘 일반화되며, 테스트 세트에서 애너테이션 불일치가 존재하더라도 타당한 예측을 내놓는다는 점을 확인할 수 있었다.