[논문 리뷰] End-to-end Hand Mesh Recovery from a Monocular RGB Image

Xiong Zhang, Qiang Li외 3명|arXiv (Cornell University)|2019. 02. 25.

Human Pose and Action Recognition참고 문헌 59인용 수 14

한 줄 요약

이 논문은 형상과 관절 각도로 파arameter화된 유사한 3D 손 메시를 사용하여 단일 RGB 이미지에서 3D 손 메시 복원을 위한 엔드 투 엔드 프레임워크인 HAMR을 제안한다. HAMR는 다양한 기하학적 사전 지식을 암묵적으로 포함하는 메시 표현을 통해 관절 최적화를 위한 미분 가능 재투영 손실을 가능하게 하여, 2D/3D 손 자세 추정 및 음영 처리된 상황에서도 강건한 메시 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a HAnd Mesh Recovery (HAMR) framework to tackle the problem of reconstructing the full 3D mesh of a human hand from a single RGB image. In contrast to existing research on 2D or 3D hand pose estimation from RGB or/and depth image data, HAMR can provide a more expressive and useful mesh representation for monocular hand image understanding. In particular, the mesh representation is achieved by parameterizing a generic 3D hand model with shape and relative 3D joint angles. By utilizing this mesh representation, we can easily compute the 3D joint locations via linear interpolations between the vertexes of the mesh, while obtain the 2D joint locations with a projection of the 3D joints.To this end, a differentiable re-projection loss can be defined in terms of the derived representations and the ground-truth labels, thus making our framework end-to-end trainable.Qualitative experiments show that our framework is capable of recovering appealing 3D hand mesh even in the presence of severe occlusions.Quantitatively, our approach also outperforms the state-of-the-art methods for both 2D and 3D hand pose estimation from a monocular RGB image on several benchmark datasets.

연구 동기 및 목표

• 단일 RGB 이미지에서 3D 손 메시 복원의 과제를 해결하기 위해, 충분한 실세계 데이터가 부족하고 시점의 모호성이 존재하는 문제를 해결한다.
• 기하학적 사전 지식을 암묵적으로 포함하는 통합된 메시 표현을 통해 2D 및 3D 손 자세 추정 성능을 향상시킨다.
• 미분 가능 재투영 손실을 통해 2D 및 3D 레이블이 불완전하거나 약한 경우에도 엔드 투 엔드 학습을 가능하게 한다.
• 실루엣 일관성 및 기하학적 제약 조건을 통합하여 음영 처리 및 도메인 분포 변화에 대한 강건성을 향상시킨다.
• 파arametric 메시 모델이 암묵적으로 손 기하학을 포괄할 수 있음을 입증하여 명시적 기하학적 정규화의 필요성을 감소시킨다.

제안 방법

• HAMR는 형상과 상대적인 3D 관절 각도로 파arameter화된 미분 가능 파arametric 3D 손 메시 모델을 사용하여 메시 표현을 생성한다.
• 3D 관절 위치는 메시 정점에 대한 선형 보간을 통해 계산되며, 2D 관절은 미분 가능 카메라 레이어를 통해 3D 관절을 투영하여 얻는다.
• 예측된 2D 관절과 진짜 2D 관절 키포인트 애너테이션 사이에 미분 가능 재투영 손실을 정의하여 엔드 투 엔드 학습을 가능하게 한다.
• 렌더링된 메시 투영과 진짜 세그먼테이션 마스크를 일치시키기 위해 실루엣 일관성 손실($\mathcal{L}_{seg}$)을 통합한다.
• 카메라 파라미터 감시($\mathcal{L}_{cam}$) 및 기하학적 정규화($\mathcal{L}_{geo}$)와 같은 추가 손실을 통해 자세 및 형상 정확도를 향상시킨다.
• 약한 지도 신호, 즉 2D 히트맵과 부분적인 3D 애너테이션을 사용하여 RHD 및 STB 데이터셋에서 모델을 학습한다.

실험 결과

연구 질문

• RQ1 미분 가능 메시 표현이 RGB 이미지에서 단안 손 메시 복원을 위한 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ2 파arametric 메시 모델이 얼마나 강력하게 손 기하학을 암묵적으로 포괄하여 명시적 기하학적 제약 조건의 필요성을 줄일 수 있는가?
• RQ3 깊이 또는 다중 시점 감시 없이도 음영 처리되거나 도전적인 실세계 이미지에 대해 프레임워크가 얼마나 잘 일반화되는가?
• RQ4 실루엣 일관성과 미분 가능 재투영 손실이 도메인 분포 변화 상황에서 메시 및 자세 추정 정확도를 향상시키는가?
• RQ5 qualitative 및 quantitative 벤치마크에서 메시 표현이 2D/3D 자세 추정 기반 모델보다 우수한 성능을 내는가?

주요 결과

• HAMR는 Dexter 데이터셋에서 2D 손 자세 추정에서 최신 기술 수준의 성능을 달성하였으며, [17, 27, 63]보다 높은 AUC를 기록하였다.
• RHD 데이터셋에서 HAMR는 손 세그먼테이션에 대해 mIoU 0.931을 달성하여, DeepLab(0.924) 및 BodyNet(0.852)를 포함한 모든 최신 기술 수준 방법을 능가하였다.
• 정성적 결과에서 보듯이, 심한 음영 처리나 고역량 조명 조건에서도 HAMR은 고품질의 3D 손 메시를 성공적으로 복원하였다.
• 절단 실험 결과, 파arametric 메시 모델이 성능 향상에 크게 기여하며, 추가적인 기하학적 제약 조건은 소량의 성능 향상만을 제공함을 확인하여 강력한 암묵적 기하학적 사전 지식 학습 능력을 입증하였다.
• 실루엣 일관성 손실($\mathcal{L}_{seg}$)과 카메라 감시($\mathcal{L}_{cam}$) 각각이 성능 향상에 기여함을 확인하여, 형태 및 자세 보정에 있어 그 역할을 검증하였다.
• 미분 가능 재투영 손실은 약한 애너테이션 데이터에서 효과적인 엔드 투 엔드 학습을 가능하게 하여, 불완전한 지도 신호에 대한 강건성을 입증하였다.