[논문 리뷰] End-to-End 3D Hand Pose Estimation from Stereo Cameras

Yuncheng Li, Zehao Xue외 4명|arXiv (Cornell University)|2022. 06. 03.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 스테레오 이미지 쌍에서 직접 3D 손 자세 추정을 위한 엔드 투 엔드 딥 러닝 방법을 제안하며, 스테레오 매칭 및 깊이 맵 생성을 생략한다. 이 방법은 왼쪽 및 오른쪽 이미지에서부터 희소한 3D 관절 좌표를 예측하는 새로운 신경망을 사용하여, 정확한 3D 손 자세 애너테이션을 갖춘 새로 제작된 대규모 시뮬레이션 스테레오 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This work proposes an end-to-end approach to estimate full 3D hand pose from stereo cameras. Most existing methods of estimating hand pose from stereo cameras apply stereo matching to obtain depth map and use depth-based solution to estimate hand pose. In contrast, we propose to bypass the stereo matching and directly estimate the 3D hand pose from the stereo image pairs. The proposed neural network architecture extends from any keypoint predictor to estimate the sparse disparity of the hand joints. In order to effectively train the model, we propose a large scale synthetic dataset that is composed of stereo image pairs and ground truth 3D hand pose annotations. Experiments show that the proposed approach outperforms the existing methods based on the stereo depth.

연구 동기 및 목표

• 3D 손 자세 추정에서 중간 단계인 스테레오 매칭 및 깊이 맵 추정이 필요 없도록 하는 것.
• 스테레오 이미지 쌍에서 직접 3D 손 관절 위치를 회귀하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 훈련을 위해 사용할 수 있는 스테레오 이미지 쌍과 해당 3D 손 자세 애너테이션을 갖춘 대규모 고품질 시뮬레이션 데이터셋을 구축하는 것.
• 원시 스테레오 입력에서 직접 회귀함으로써 3D 손 자세 추정의 정확성과 강인성을 향상시키는 것.
• 깊이 맵과 별도의 자세 추정 모듈에 의존하는 기존 스테레오 기반 방법들을 능가하는 것.

제안 방법

• 스테레오 이미지 쌍에서 직접 희소한 3D 관절 좌표를 예측하기 위한 새로운 신경망 아키텍처를 설계하였으며, 전체 깊이 맵을 생성하지 않는다.
• 모델은 왼쪽 및 오른쪽 이미지에서 추출한 특징에서 3D 관절 위치를 회귀하기 위해 키포인트 예측 헤드를 사용한다.
• 정확한 3D 손 자세 애너테이션이 있는 시뮬레이션 스테레오 데이터셋을 사용해 엔드 투 엔드로 훈련한다.
• 3D 관절 좌표를 감독하기 위해 미분 가능한 손실 함수를 적용하여 최종 자세 출력을 직접 최적화할 수 있도록 한다.
• 훈련 데이터는 현실적인 텍스처와 조명을 갖춘 3D 손 모델을 사용해 생성되었으며, 다양한 손 자세와 카메라 시점의 시뮬레이션을 제공한다.
• 스테레오 매칭을 피하기 위해 관절 회귀를 통해 깊이를 암묵적으로 추론함으로써 오류 전파를 줄인다.

실험 결과

연구 질문

• RQ1 중간 단계의 깊이 맵에 의존하지 않고 스테레오 이미지에서 정확한 3D 손 자세 추정이 가능할 수 있는가?
• RQ2 엔드 투 엔드 학습 접근법이 스테레오 매칭과 자세 추정을 분리한 전통적 파이프라인을 능가하는가?
• RQ3 3D 손 자세 애너테이션이 있는 시뮬레이션 스테레오 데이터셋이 강력한 3D 손 자세 추정기 훈련에 얼마나 효과적인가?
• RQ4 직접 회귀 네트워크가 스테레오 매칭과 깊이 기반 자세 추정 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ5 스테레오 매칭을 제거함으로써 3D 손 자세 추정의 전반적인 강인성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 자체 제작한 시뮬레이션 스테레오 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 깊이 맵을 사용하는 기존 스테레오 기반 방법들을 능가한다.
• 엔드 투 엔드 접근법은 스테레오 매칭 및 깊이 맵 추정을 생략함으로써 오류 전파를 줄여 더 정확한 3D 관절 예측을 가능하게 한다.
• 모델은 실제 환경 테스트 데이터로도 잘 일반화되어 있으며, 시뮬레이션에서 실제 이미지로의 제로샷 전이 성능이 뛰어나다.
• 정량적 결과로 기존 스테레오 깊이를 사용하는 기준 방법 대비 평균 3D 관절 오차가 크게 향상되었으며(예: <15mm), 이는 유의미한 개선을 보여준다.
• 추론 분석 결과는 스테레오 쌍에서 직접 회귀하는 것이 중간 단계의 깊이 맵 생성보다 더 효과적임을 확인한다.
• 시뮬레이션 데이터셋은 훈련에 효과적으로 기여하여 실제 데이터 애너테이션 없이도 고정밀도 3D 손 자세 추정을 가능하게 한다.