[논문 리뷰] RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images

Shanxin Yuan, Björn Stenger외 1명|arXiv (Cornell University)|2018. 11. 18.

Human Pose and Action Recognition참고 문헌 47인용 수 15

한 줄 요약

이 논문은 훈련 중에 깊이 이미지를 특권 정보로 활용하여 RGB 전용 테스트 데이터에서 성능을 햖थ하려는 새로운 RGB 기반 3D 손 자세 추정 방법을 제안한다. 대규모 깊이 데이터셋에서 깊이 기반 네트워크를 사전 훈련하고, 쌍체 RGB-D 데이터를 통해 중위 수준의 특징을 RGB 네트워크로 전이함으로써, 또한 깊이 기반 손 마스크를 활용해 배경 반응을 억제함으로써, 추론 시에 오직 RGB 입력만을 사용함에도 불구하고 3D 및 2D 손 자세 추정 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a method for hand pose estimation from RGB images that uses both external large-scale depth image datasets and paired depth and RGB images as privileged information at training time. We show that providing depth information during training significantly improves performance of pose estimation from RGB images during testing. We explore different ways of using this privileged information: (1) using depth data to initially train a depth-based network, (2) using the features from the depth-based network of the paired depth images to constrain mid-level RGB network weights, and (3) using the foreground mask, obtained from the depth data, to suppress the responses from the background area. By using paired RGB and depth images, we are able to supervise the RGB-based network to learn middle layer features that mimic that of the corresponding depth-based network, which is trained on large-scale, accurately annotated depth data. During testing, when only an RGB image is available, our method produces accurate 3D hand pose predictions. Our method is also tested on 2D hand pose estimation. Experiments on three public datasets show that the method outperforms the state-of-the-art methods for hand pose estimation using RGB image input.

연구 동기 및 목표

• 풍부하고 완전히 애너테이션 처리된 깊이 데이터셋을 활용하여 RGB와 깊이 이미지에서의 3D 손 자세 추정 간 성능 격차를 해소한다.
• 정확한 애너테이션이 있는 실제 환경의 소규모 RGB 데이터셋으로서의 제한을 극복한다.
• 모델 훈련 중에 깊이 데이터를 특권 정보로 사용하는 새로운 훈련 철학을 도입하여 RGB 전용 테스트 데이터에서의 일반화 능력을 향상시킨다.
• 깊이 기반 네트워크에서 유도된 중위 수준의 특징을 RGB 기반 네트워크로 전이하면 자세 추정 정확도가 크게 향상됨을 입증한다.
• 깊이 데이터에서 유도된 전경 손 마스크가 특징 학습 중 배경 간섭을 억제하는 데 미치는 영향을 탐색한다.

제안 방법

• 대규모로 애너테이션 처리된 깊이 데이터셋(예: BigHand2.2M)에서 깊이 기반 3D 손 자세 추정 네트워크를 사전 훈련하여 강력한 중위 수준의 특징을 학습한다.
• 두 번째 훈련 단계에서 쌍체 RGB 및 깊이 이미지를 사용하여, RGB 네트워크의 중위 수준 활성화를 사전 훈련된 깊이 네트워크의 활성화와 특징 회귀 손실을 통해 정렬한다.
• 깊이 기반 손 세그멘테이션을 활용하여 RGB 네트워크의 배경 반응을 억제하는 전경 손 마스크 손실을 도입한다.
• 사전 훈련 후 깊이 기반 네트워크를 고정하고, 3D 자세 손실과 중간 특징 손실을 조합한 공동 손실을 사용하여 RGB 네트워크를 피니어튜닝한다.
• 기존의 CNN 아키텍처(예: CPM)에 특권 학습 전략을 통합하여 2D 및 3D 손 자세 추정에 모두 적용 가능하게 하되, 아키텍처의 대대적인 개편 없이도 가능하게 한다.
• 이 방법을 3D 및 2D 손 자세 추정 작업에 모두 적용하여, 다양한 네트워크 설계 및 데이터셋 간의 전이 가능성에 대한 증명을 한다.

실험 결과

연구 질문

• RQ1 훈련 중에 특권 정보로 깊이 이미지를 사용할 경우, 테스트 시 단일 RGB 이미지에서 3D 손 자세 추정 정확도가 크게 향상되는가?
• RQ2 깊이 기반 네트워크에서 유도된 중위 수준의 특징을 RGB 기반 네트워크로 전이하면, RGB 네트워크를 처음부터 훈련하는 것보다 더 나은 일반화 성능을 달성하는가?
• RQ3 깊이 기반으로 유도된 손 마스크를 사용하여 배경 활성화를 억제하면, RGB 기반 자세 추정에서 특징 학습에 얼마나 기여하는가?
• RQ4 공개 벤치마크에서 제안된 특권 학습 전략은 최신 기술(SOTA) RGB 전용 방법과 비교해 성능 면에서 어떻게 비교되는가?
• RQ5 이러한 훈련 전략은 다양한 CNN 아키텍처 및 2D 손 자세 추정 작업으로 효과적으로 전이 가능한가?

주요 결과

• 제안된 방법은 Stereo, RHD, 그리고 Dexter-Object 데이터셋에서 최신 기술(SOTA) RGB 기반 3D 손 자세 추정 방법을 초월하며, RHD 훈련 데이터만을 사용하여 Dexter-Object 데이터셋에서 중앙 2D PCK가 11.809에 도달했다.
• RHD 데이터셋에서, 기준 RGB 전용 모델 대비 중앙 2D 종점 오차(EPE)를 3.708에서 2.642로 감소시켜 특권 학습의 효과적인 향상을 입증했다.
• 중위 수준 특징 정규화를 포함한 공동 손실은 약 30,000 반복 이후 수렴하여 특권 정보 피니어튜닝 단계에서 안정적인 최적화를 보였다.
• 훈련 중 깊이 기반으로 유도된 손 마스크를 사용함으로써 배경 간섭이 감소하였고, 이는 특징 품질 향상과 정확한 关절점 국소화를 이끌어내는 질적 결과로 이어졌다.
• RHD 데이터셋에서 깊이 기반 지도만을 사용할 경우 중앙 EPE가 2.087이었고, 특권 학습을 적용한 RGB 모델은 2.642를 기록하여, 깊이 기반 성능을 효과적으로 모방할 수 있음을 보여주었다.
• RHD 데이터만으로도 훈련한 경우, RHD와 Stereo 데이터를 모두 사용한 SOTA 모델(Z&B_Joint)보다 성능이 뛰어나 특권 학습 접근법의 데이터 효율성을 입증했다.