[논문 리뷰] Domain Transfer for 3D Pose Estimation from Color Images without Manual Annotations

Mahdi Rad, Markus Oberweger외 1명|arXiv (Cornell University)|2018. 01. 01.

Human Pose and Action Recognition참고 문헌 50인용 수 51

한 줄 요약

본 논문은 RGB-D 데이터 쌍을 활용해 색상에서 깊이로의 특징 매핑을 학습하고 최대 평균 차이(MMD)로 실제 깊이 도메인과 합성 깊이 도메인을 정렬함으로써 색상 주석 없이 색상 이미지에서 3D 포즈를 추정하는 방법을 제시한다. 이 방법은 3D 객체 포즈 추정과 3D 손 포즈 추정 모두에 적용된다.

ABSTRACT

We introduce a novel learning method for 3D pose estimation from color images. While acquiring annotations for color images is a difficult task, our approach circumvents this problem by learning a mapping from paired color and depth images captured with an RGB-D camera. We jointly learn the pose from synthetic depth images that are easy to generate, and learn to align these synthetic depth images with the real depth images. We show our approach for the task of 3D hand pose estimation and 3D object pose estimation, both from color images only. Our method achieves performances comparable to state-of-the-art methods on popular benchmark datasets, without requiring any annotations for the color images.

연구 동기 및 목표

• 노력집약적인 색상 이미지 주석 없이 색상 이미지에서 3D 포즈 추정을 촉진한다.
• 실제 또는 합성 깊이 이미지에 라벨이 부여된 데이터를 활용해 강건한 포즈 추정기를 학습한다.
• 대상 도메인 주석 없이 색상 모달리티와 깊이 모달리티 간의 도메인 격차를 해소한다.

제안 방법

• 합성 깊이 데이터에서 깊이 특징 추출기 f_D와 포즈 추정기 h_D를 학습한다.
• RGB-D 쌍과 특징 매핑 손실 L_FM을 사용하여 색상 특징 추출기 f_C와 깊이 특징으로 매핑하는 네트워크 g를 학습한다.
• 실제와 합성 깊이 특징 분포를 RKHS에서 정렬하기 위해 MMD를 사용한다.
• 합성 깊이 데이터에 대한 포즈 손실, 특징 매핑 손실 및 MMD 손실을 가중치 β와 γ로 결합한 공동 목적함수를 구성한다.
• 추론은 g∘f_C를 통해 색상 특징을 깊이 특징 공간으로 매핑하고 h_D를 적용하여 색상 이미지에서 3D 포즈를 추정한다.

실험 결과

연구 질문

• RQ1 RGB-D 쌍 데이터와 깊이 레벨의 감독만으로 색상 주석 없이 색상 이미지에서 3D 포즈를 추정할 수 있는가?
• RQ2 학습된 색상에서 깊이로의 특징 매핑이 합성 깊이 데이터에서 얻은 포즈 지식을 실제 색상 이미지로 얼마나_effect적으로_ 전달할 수 있는가?
• RQ3 실제 깊이 특징과 합성 깊이 특징 간의 MMD 기반 도메인 정렬이 실제 색상 주석 없이도 도메인 차이를 충분히 해소하는가?
• RQ4 이 접근법이 색상 이미지로부터의 강체 물체 포즈 추정과 3D 손 포즈 추정 모두에 적용 가능한가?

주요 결과

• 주석이 달린 색상 이미지 없이 LINEMOD 및 STB/RHD 벤치마크에서 최첨단 방법과 비교 가능한 포즈 추정 성능을 달성한다.
• LINEMOD에서 색상 주석이 필요한 방법을 능가하고 주석 의존 최고 방법의 성능에 근접한다.
• RGB-D 쌍을 이용한 학습으로 STB에서 3D 손 포즈에 대해 주석 기반 방법과 비교해도 손색없는 정확도를 보고하였다.
• 추론 시간은 우수합니다: TITAN X 플랫폼에서 객체 포즈 약 3.2 ms, 손 포즈 약 8.6 ms.
• 학습은 합성 깊이 데이터와 RGB-D 쌍이 필요하며, 사전 학습 단계가 수렴을 향상시킨다.