[논문 리뷰] Silhouette-Net: 3D Hand Pose Estimation from Silhouettes

Kuo‐Wei Lee, Shih‐Hung Liu외 2명|arXiv (Cornell University)|2019. 12. 28.

Human Pose and Action Recognition참고 문헌 30인용 수 4

한 줄 요약

Silhouette-Net는 깊이 맵을 필요로 하지 않고 이진 손 실루엣만으로도 3D 손 자세를 추정하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 깊이 인지 네트워크(DPN)와 잔차 예측 네트워크(RPN)를 통해 암묵적 깊이 인지 능력을 학습함으로써, HIM2017 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 평균 오차는 5.60 mm, 관절별 최대 오차는 7.63 mm를 기록하였다.

ABSTRACT

3D hand pose estimation has received a lot of attention for its wide range of applications and has made great progress owing to the development of deep learning. Existing approaches mainly consider different input modalities and settings, such as monocular RGB, multi-view RGB, depth, or point cloud, to provide sufficient cues for resolving variations caused by self occlusion and viewpoint change. In contrast, this work aims to address the less-explored idea of using minimal information to estimate 3D hand poses. We present a new architecture that automatically learns a guidance from implicit depth perception and solves the ambiguity of hand pose through end-to-end training. The experimental results show that 3D hand poses can be accurately estimated from solely {\em hand silhouettes} without using depth maps. Extensive evaluations on the {\em 2017 Hands In the Million Challenge} (HIM2017) benchmark dataset further demonstrate that our method achieves comparable or even better performance than recent depth-based approaches and serves as the state-of-the-art of its own kind on estimating 3D hand poses from silhouettes.

연구 동기 및 목표

• 최소한의 입력(특히 깊이 맵이나 RGB 이미지가 아닌 이진 손 실루엣)을 사용하여 3D 손 자세 추정 문제를 해결하는 것.
• 정확한 3D 손 자세 추정을 위해 암묵적 깊이 인지가 명시적 깊이 맵 감독을 대체할 수 있는지 조사하는 것.
• 자기 음영 및 시점 변화에 대비해 높은 정확도를 유지하면서도 저비용이고 강력한 시스템을 개발하는 것.
• 정확한 3D 자세 예측을 위해 정밀한 깊이 값보다 '깊이의 개념'을 학습하는 것이 더 중요하다는 것을 입증하는 것.

제안 방법

• 모델은 다중 시점 입력 전략을 사용하여 앞면 및 측면 시점의 실루엣을 처리함으로써 공간적 이해를 향상시킨다.
• U-Net과 피처 피라미드 네트워크(FPN)-유사 아키텍처를 갖춘 깊이 인지 네트워크(DPN)를 설계하여 실루엣에서 계층적이고 다중 척도의 공간 표현을 학습한다.
• DPN은 암묵적 깊이 인지 가이던스를 생성하여 잔차 예측 네트워크(RPN)의 3D 관절 위치 예측을 제약하고 향상시킨다.
• 전체 네트워크는 실루엣을 입력으로 사용하여 엔드 투 엔드로 훈련되며, 훈련 중에 진짜 깊이 맵을 선택적으로 활용할 수 있다.
• 다중 시점에서의 깊이 인지 잠재 표현을 학습함으로써, 명시적 깊이 데이터 없이도 3D 구조를 추론할 수 있다.
• 최종 예측은 DPN과 RPN의 특징을 융합한 후 회귀 헤드를 통해 21개의 손 관절 3D 좌표를 출력한다.

실험 결과

연구 질문

• RQ1 깊이 또는 RGB 입력 없이 오직 이진 손 실루엣만으로도 정확한 3D 손 자세 추정이 가능한가?
• RQ2 암묵적 깊이 인지가 깊이 기반 방법과 비교해 유사한 성능을 달성하는 데 충분한가?
• RQ3 단일 시점 입력 대비 다중 시점 실루엣 입력이 정확도 및 견고성 측면에서 어떻게 다른가?
• RQ4 테스트 입력이 오직 실루엣일 경우, 훈련 중에 진짜 깊이 맵을 사용하는 것이 성능 향상에 얼마나 기여하는가?
• RQ5 명시적 깊이 신호 없이 실루엣으로 훈련된 모델이 음영과 복잡한 손 자세를 잘 일반화할 수 있는가?

주요 결과

• Silhouette-Net은 HIM2017 벤치마크에서 평균 오차 5.60 mm, 관절별 최대 오차 7.63 mm를 기록하며, 여러 최신 기술 수준의 깊이 기반 방법을 능가한다.
• 앞면 및 측면 시점 실루엣을 사용하는 다중 시점 버전의 Silhouette-Net은 단일 시점 기반 모델(평균 오차 7.07 mm)보다 뚜렷이 정확도가 향상된다.
• 훈련 중에 진짜 깊이 맵을 사용하지 않더라도 모델은 강력한 성능(평균 오차 6.75 mm)을 기록하여, 깊이 인지 학습이 견고하고 효과적임을 보여준다.
• 진짜 깊이 맵을 훈련에 포함시킴으로써 성능은 평균 오차 5.60 mm로 더욱 향상되었으며, 이는 감독이 성능 향상에 기여하지만 최종 결과에 필수적이지 않음을 시사한다.
• 모델은 깊이 맵의 정밀한 값보다 깊이 인지 능력을 학습하는 것이 더 중요함을 입증하며, 실루엣만으로도 잘 일반화됨을 보였다.
• RGBD 기반 최신 기술 수준의 접근법을 초월하는 성능을 보이며, 효과적인 암묵적 깊이 학습과 함께 최소한의 입력으로도 높은 정확도를 달성할 수 있음을 증명했다.