[논문 리뷰] Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction

Anil Armagan, Guillermo Garcia-Hernando외 33명|arXiv (Cornell University)|2020. 03. 30.

Human Pose and Action Recognition참고 문헌 50인용 수 6

한 줄 요약

이 논문은 HANDS'19 챌린지를 통해 수동적 상호작용 하에서 예측할 수 없는 시점, 관절 운동, 형태, 물체에 대해 3차원 손 자세 추정의 일반화 성능을 평가한다. 앙상블 방법, 합성 데이터, 그리고 매개변수 손 모델(MANO)을 이용한 후처리가 외삽 성능을 크게 향상시켜 예측되지 않은 자세에서 평균 관절 오차를 27mm에서 13mm로 감소시킴을 보여준다.

ABSTRACT

We study how well different types of approaches generalise in the task of 3D hand pose estimation under single hand scenarios and hand-object interaction. We show that the accuracy of state-of-the-art methods can drop, and that they fail mostly on poses absent from the training set. Unfortunately, since the space of hand poses is highly dimensional, it is inherently not feasible to cover the whole space densely, despite recent efforts in collecting large-scale training datasets. This sampling problem is even more severe when hands are interacting with objects and/or inputs are RGB rather than depth images, as RGB images also vary with lighting conditions and colors. To address these issues, we designed a public challenge (HANDS'19) to evaluate the abilities of current 3D hand pose estimators (HPEs) to interpolate and extrapolate the poses of a training set. More exactly, HANDS'19 is designed (a) to evaluate the influence of both depth and color modalities on 3D hand pose estimation, under the presence or absence of objects; (b) to assess the generalisation abilities w.r.t. four main axes: shapes, articulations, viewpoints, and objects; (c) to explore the use of a synthetic hand model to fill the gaps of current datasets. Through the challenge, the overall accuracy has dramatically improved over the baseline, especially on extrapolation tasks, from 27mm to 13mm mean joint error. Our analyses highlight the impacts of: Data pre-processing, ensemble approaches, the use of a parametric 3D hand model (MANO), and different HPE methods/backbones.

연구 동기 및 목표

• 손-물체 상호작용 하에서 예측되지 않은 시점, 관절 운동, 형태, 물체에 대해 3차원 손 자세 추정기(HPEs)의 일반화 성능을 평가하기 위해.
• 특히 자기 중심적 또는 가림 상황에서 깊이 및 RGB 모odalities가 HPE 일반화에 미치는 영향을 평가하기 위해.
• 합성 데이터와 매개변수 손 모델(MANO)이 훈련 데이터를 초월한 외삽 성능 향상에 미치는 역할을 조사하기 위해.
• 최신 HPE 방법을 벤치마킹하고, 앙상블 및 후처리와 같은 핵심 요소들이 일반화 성능 향상에 기여하는 방식을 규명하기 위해.
• 네 가지 핵심 축(시점, 관절 운동, 형태, 물체)을 분리하여 일반화 성능을 측정할 수 있는 체계적인 챌린지 프레임워크를 수립하기 위해.

제안 방법

• 깊이 기반 HPE(물체 없음), 깊이 기반 HPE(물체 상호작용 포함), RGB 기반 HPE(물체 상호작용 포함)의 세 가지 과제를 포함한 공개 챌린지(HANDS'19)를 설계함.
• 일반화 성능를 분리하기 위해 시점, 손 형태, 관절 운동, 물체 상호작용에 대한 제어된 변형을 포함하는 훈련 및 테스트 세트를 구축함.
• 참가자들이 훈련 데이터를 합성하고 예측되지 않은 자세로의 일반화 성능 향상에 기여하기 위해 매개변수 기반 3차원 손 모델(MANO)을 제공함.
• 합성 데이터, 앙상블 방법, 그리고 Truncated SVD와 시간적 스무딩을 포함한 비선형 변환 기반 추론 전략(NTIS)과 같은 후처리 기법의 사용을 허용함.
• ResNet 기반 백본과 2D/3D 관절점 회귀기 사용; 2D 및 3D HPE 간의 방법론적 앙상블 및 후처리 보정 적용.
• 특히 가림 또는 시야가 떨어진 상황에서 관절점 정확도를 향상시키기 위해 학습 가능한 적응형 가중치 회귀(AWR)를 적용함.

실험 결과

연구 질문

• RQ1 최신 3차원 손 자세 추정기의 일반화 성능는 예측되지 않은 시점과 관절 운동, 특히 자기 중심적 또는 가림 상황에서 얼마나 잘 이루어지는가?
• RQ2 합성 데이터와 매개변수 손 모델(MANO)의 사용이 훈련 분포를 초월한 외삽 성능 향상에 얼마나 기여하는가?
• RQ3 앙상블 기법과 NTIS, AWR와 같은 후처리 기법은 예측되지 않은 자세에서 일반화 성능에 어떤 영향을 미치는가?
• RQ4 특히 손-물체 상호작용 상황에서 RGB 모달리티와 깊이 모달리티의 일반화 성능에 대한 상대적 영향은 어떠한가?
• RQ5 다양한 HPE 백본과 아키텍처는 복잡한 실제 환경에서의 내삽과 외삽 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• 외삽 과제에서 전체 평균 관절 오차(MJE)는 기준값 27mm에서 우승 메서드의 13mm로 크게 향상되어 일반화 성능 향상이 뚜렷하게 나타남.
• 특히 후처리 단계에서의 앙상블 방법이 외삽 과제에서 MJE를 최대 15%까지 감소시켰으며, 최고의 단일 모델(ResNet-152)은 14.74mm의 MJE 기록.
• Truncated SVD와 가중치 앙상블를 포함한 NTIS 후처리 기법은 Task 1에서 MJE를 1.1% 감소시켜 정교한 보정 기법의 가치를 입증함.
• 시퀀스 기반 Task 2에서 시간적 스무딩은 외삽 오차를 약간 감소시켰지만, 더 큰 컨텍스트 크기는 영향을 거의 미치지 않아 수익 감소 현상이 나타남.
• AWR 기반 적응형 가중치는 NYU에서 0.49mm, HANDS’17에서 0.50mm의 MJE 향상 효과를 보이며, 모호하거나 가려진 관절 처리에 효과적임.
• 합성 데이터를 활용한 메서드는 소수에 불과했으며, 심지어 우승 메서드조차도 57만 장의 합성 이미지만 사용함 — 일반화 성능 향상 잠재력이 여전히 크게 남아 있음.