[논문 리뷰] The 2017 Hands in the Million Challenge on 3D Hand Pose Estimation

Shanxin Yuan, Qi Ye외 2명|arXiv (Cornell University)|2017. 07. 07.

Human Pose and Action Recognition참고 문헌 7인용 수 49

한 줄 요약

이 논문은 BigHand2.2M 및 First-Person Hand Action 데이터셋에서 유저가 촬영한 100만장 이상의 완전히 애노테이션 처리된 깊이 영상 자료를 활용하여 3D 손 자세 추정을 위한 대규모 벤치마크인 2017 Hands in the Million Challenge를 제시한다. 이 챌린지는 표준화된 메트릭을 사용하여 단일 프레임 추정 및 시간적 추적 두 가지 과제를 평가하며, 가시성 인지 및 주파수 가중 오차 측정법을 포함한 메트릭을 통해 현재의 접근 방식의 강점과 실패 원인을 규명한다.

ABSTRACT

We present the 2017 Hands in the Million Challenge, a public competition designed for the evaluation of the task of 3D hand pose estimation. The goal of this challenge is to assess how far is the state of the art in terms of solving the problem of 3D hand pose estimation as well as detect major failure and strength modes of both systems and evaluation metrics that can help to identify future research directions. The challenge follows up the recent publication of BigHand2.2M and First-Person Hand Action datasets, which have been designed to exhaustively cover multiple hand, viewpoint, hand articulation, and occlusion. The challenge consists of a standardized dataset, an evaluation protocol for two different tasks, and a public competition. In this document we describe the different aspects of the challenge and, jointly with the results of the participants, it will be presented at the 3rd International Workshop on Observing and Understanding Hands in Action, HANDS 2017, with ICCV 2017.

연구 동기 및 목표

• 다양한 방법론에 대한 공정하고 체계적인 평가를 가능하게 하기 위해 3D 손 자세 추정을 위한 표준화된 대규모 벤치마크를 구축하기 위해.
• 특히 손에 의한 가림 및 다양한 손 모양과 자세가 포함된 도전적인 상황에서의 3D 손 자세 추정 기술의 현재 최고 수준을 평가하기 위해.
• 기존 방법과 평가 메트릭의 실패 및 성공 원인을 규명하여 향후 연구 방향을 안내하기 위해.
• 공개 경쟁을 통해 표준화된 데이터셋과 평가 프로토콜을 제공하여 분야 내 혁신을 자극하기 위해.
• 새로운 가시성 및 주파수 인지 메트릭을 사용하여, 에고세트릭 뷰와 손-물체 상호작용을 포함한 실제 조건에서의 성능을 평가하기 위해.

제안 방법

• 챌린지는 Intel RealSense SR300를 사용해 640×480 해상도로 촬영된 BigHand2.2M 및 First-Person Hand Action (FHAD) 데이터셋에서 추출한 100만장 이상의 깊이 영상으로 구성된 데이터셋을 사용한다.
• 21개의 손 관절에 대한 진짜 3D 관절 애노테이션은 자기장 센서 기반 시스템과 역기구학을 활용하여 생성되어 높은 정확도를 확보한다.
• 데이터셋은 두 가지 주요 과제를 포함한다: 첫 프레임 애노테이션을 기반으로 전체 시퀀스를 예측하는 3D 손 자세 추적과, 제공된 바운딩 박스를 활용한 단일 프레임 3D 손 자세 추정.
• 평가에는 표준 메트릭(평균 오차, ε 이내 정확도, 프레임 수준 정확도)과 관절 가시성 및 자세 빈도를 고려한 신규 메트릭을 사용한다.
• 주파수 가중치 기반 방식은 자세의 클러스터 크기의 역수를 할당하여 희귀한 손 자세에 더 높은 중요도를 주어 평가 민감도를 향상시킨다.
• 참가자들은 전체 학습 애노테이션을 제공받지만, 은폐된 테스트 세트에서 예측을 수행하며, 복수의 메트릭을 종합한 점수를 사용해 공개 랭킹을 통해 결과가 평가된다.

실험 결과

연구 질문

• RQ1 현재의 3D 손 자세 추정 방법은 제3자 및 에고세트릭 뷰를 포함한 다양한 손 모양, 자세, 시점에서 얼마나 잘 일반화되는가?
• RQ2 손-물체 상호작용 중 심한 가림 상황에서 기존 방법의 실패 원인은 무엇인가?
• RQ3 가시성 인지 및 주파수 가중 평가 메트릭은 표준 메트릭에 비해 성능 격차를 어떻게 더 잘 드러내는가?
• RQ4 자세의 희귀성(예: 희귀한 손가락 구성)이 추정 정확도에 어떤 영향을 미치며, 가중치가 부여된 메트릭은 실제 세계의 과제를 더 잘 반영할 수 있는가?
• RQ5 장시간 시퀀스와 가림 상황에서 추적 및 단일 프레임 추정 방법 간의 정확도 및 내성에 대해 어떤 비교가 가능한가?

주요 결과

• 챌린지 데이터셋은 873,000개의 학습 프레임, 추적용 187,000개, 단일 프레임 추정용 187,000개의 테스트 프레임을 포함하며, 10명의 참가자와 다양한 시점 조건을 커버한다.
• 테스트 세트에는 에고세트릭 뷰에서의 5명의 새로운 참가자와, 두 번째 반의 에고세트릭 시퀀스가 있는 5명의 기존 참가자가 포함되어 있어 새로운 개인에 대한 일반화 능력을 평가할 수 있다.
• FHAD 데이터셋의 5,400개 프레임이 포함되어 있어 손-물체 상호작용에 의한 현실적인 가림 상황이 반영되었으며, 이는 이전의 벤치마크에서 흔하지 않은 요소이다.
• 제안된 주파수 가중 오차 메트릭은 희귀한 자세에 더 높은 중요도를 할당하여, 기존 방법이 희귀한 구성에서 일반적으로 성능이 열 劣하다는 점을 드러냈다.
• 가시성 인지 평가에서는 자기 가림 또는 물체 접촉으로 인해 가려진 관절이 일관되게 더 예측하기 어려운 것으로 나타났으며, 이러한 경우 정확도가 낮았다.
• 챌린지에서는 평균 오차 및 관절 정확도 메트릭이 유용하지만, 프레임 수준 정확도(r_f)는 더 엄격한 기준이었으며, 최고의 모델에서 ε = 20mm일 때 r_f ≈ 0.75의 성능을 기록했다.