[논문 리뷰] Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data

Yuxiao Zhou, Marc Habermann외 4명|arXiv (Cornell University)|2020. 03. 21.

Human Pose and Action Recognition참고 문헌 53인용 수 8

한 줄 요약

이 논문은 단일 RGB 카메라를 사용하여 실시간으로 3D 관절 위치와 자세를 함께 추정하는 단일 카메라 수준의 손 모양 및 운동 캡처 방법을 제안한다. 새로운 딥 러닝 아키텍처를 통해 2D/3D 레이블이 부여된 이미지와 독립적인 3D 운동 캡처 데이터를 통합함으로써, 이중 단계의 네트워크인 DetNet(3D 관절 검출용)과 종단간 역운동학 네트워크(IKNet)를 통해 100fps의 추론 속도를 달성하며 최신 기술 수준의 정확도를 확보한다. IKNet는 단일 순방향 전파로 관절의 자세를 직접 추정하여 자세 정확도와 해부학적 타당성을 크게 향상시킨다.

ABSTRACT

We present a novel method for monocular hand shape and pose estimation at unprecedented runtime performance of 100fps and at state-of-the-art accuracy. This is enabled by a new learning based architecture designed such that it can make use of all the sources of available hand training data: image data with either 2D or 3D annotations, as well as stand-alone 3D animations without corresponding image data. It features a 3D hand joint detection module and an inverse kinematics module which regresses not only 3D joint positions but also maps them to joint rotations in a single feed-forward pass. This output makes the method more directly usable for applications in computer vision and graphics compared to only regressing 3D joint positions. We demonstrate that our architectural design leads to a significant quantitative and qualitative improvement over the state of the art on several challenging benchmarks. Our model is publicly available for future research.

연구 동기 및 목표

• 단일 RGB 카메라만을 사용하여 고정확도의 실시간 단일 카메라 손 운동 캡처를 가능하게 하기 위해.
• 이전 방법들이 2D/3D 레이블이 부여된 이미지와 독립적인 3D 운동 캡처(MoCap) 데이터를 포함한 모든 가능한 훈련 데이터 모odal을 활용하지 못하는 한계를 극복하기 위해.
• 단지 3D 관절 위치를 추정하는 것 외에 관절 자세를 직접 추정함으로써 컴퓨터 그래픽스 및 VR/AR 응용 분야에서의 직접적 활용을 가능하게 하기 위해.
• MoCap 데이터로부터의 공동 감독과 3D 관절 위치로부터의 약한 감독을 통해 자세 사전 지식을 학습함으로써 강인성과 해부학적 타당성을 향상시키기 위해.
• 쌍체 데이터가 부족한 상황에서도 이미지 및 운동 캡처 데이터를 효과적으로 활용할 수 있는 통합 아키텍처를 설계하기 위해.

제안 방법

• 이 방법은 이중 모듈 아키텍처를 사용한다: 다중 작업 학습을 통해 2D 및 3D 관절 예측을 동시에 최적화하는 DetNet(3D 손 관절 검출용).
• DetNet는 실제 2D/3D 레이블이 부여된 이미지와 합성 이미지를 조합하여 훈련함으로써, 단일 RGB 입력에서 강력한 3D 관절 추정이 가능해진다.
• 종단간 역운동학 네트워크(IKNet)는 DetNet의 3D 관절 예측 결과를 입력으로 받아 단일 순방향 전파로 관절 자세를 추정한다.
• IKNet는 MoCap 데이터로부터 직접적인 자세 감독과 3D 관절 위치 데이터로부터의 약한 감독을 통해 정확한 자세 사전 지식을 학습한다.
• 자세 추정 정확도를 향상시키기 위해 쿼aternion에 대한 L2 손실과 코사인 손실을 조합한 손실 함수를 사용한다.
• RHD, STB, 3DPosData 및 MoCap 데이터와 같은 다양한 데이터 소스를 공동으로 훈련하여 일반화 능력과 강인성을 극대화한다.

실험 결과

연구 질문

• RQ1 2D/3D 레이블이 부여된 이미지와 독립적인 3D 운동 캡처 데이터를 포함한 다중 데이터 모달을 단일 딥 러닝 모델이 단일 카메라 손 자세 추정에 효과적으로 활용할 수 있는가?
• RQ2 3D 관절 위치 외에 관절 자세를 직접 추정함으로써, 단지 3D 위치를 추정하는 것에 비해 정확도와 해부학적 타당성이 향상되는가?
• RQ3 MoCap 데이터로부터의 직접적인 자세 감독을 통해 훈련된 종단간 역운동학 네트워크가 후처리 피팅이나 약한 감독에 의존하는 방법보다 우월한 성능을 내는가?
• RQ4 3D 관절 위치로부터의 약한 감독과 직접적인 자세 감독을 조합함으로써 모델의 강인성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 검출과 자세 회귀를 분리한 아키텍처 설계가 훈련 안정성과 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 단일 RGB 카메라에서 실시간 성능을 확보하기 위해 100fps의 추론 속도를 달성한다.
• DO 벤치마크에서 동일한 훈련 데이터를 사용할 경우, 이전 최고 기술(0.923)을 뛰어넘는 AUC 0.948을 기록한다.
• IKNet의 포함으로 DetNet 전용 모델 대비 AUC가 2.5%p 향상되어 학습된 자세 사전 지식의 가치를 입증한다.
• MoCap 데이터로부터의 자세 감독을 제거하면, 3D 관절 위치가 정확하더라도 해부학적으로 잘못된 자세가 생성되며, 이는 그 필요성을 입증한다.
• L2 손실과 코사인 손실을 쿼aternion에 적용한 조합이 가장 높은 정확도를 보이며, 특히 코사인 손실이 자세 차이 추정에 더 효과적이다.
• 제거 실험 결과, DetNet의 노이즈가 있는 3D 예측 결과(3DPosData를 통해)를 기반으로 IKNet를 훈련시키는 것이 성능 향상에 필수적임을 확인하였으며, 이는 실제 환경 데이터에 대한 일반화 능력을 향상시킨다.