[논문 리뷰] Model-based 3D Hand Reconstruction via Self-Supervised Learning

Yujin Chen, Zhigang Tu외 6명|arXiv (Cornell University)|2021. 03. 22.

Hand Gesture Recognition Systems참고 문헌 33인용 수 8

한 줄 요약

이 논문은 3D 애니메이션에 필요한 고비용 3D 애노테이션 없이도 학습할 수 있도록 하는 자기지도 학습 3D 손 재구성 방법인 S²HAND를 제안한다. 이 방법은 레이블이 없는 RGB 이미지와 검출된 2D 관절 키포인트만을 사용하여 신경망을 훈련시키며, 2D-3D 일致성 손실과 기하학적 사전 지식을 활용함으로써 기존의 완전히 지도 학습된 최신 기술 수준의 성능에 근접한 성능을 달성한다. HO-3D 및 FreiHand 데이터셋에서 검증된 결과, 이 방법은 3D 손 재구성에서 뛰어난 성능을 보였다.

ABSTRACT

Reconstructing a 3D hand from a single-view RGB image is challenging due to various hand configurations and depth ambiguity. To reliably reconstruct a 3D hand from a monocular image, most state-of-the-art methods heavily rely on 3D annotations at the training stage, but obtaining 3D annotations is expensive. To alleviate reliance on labeled training data, we propose S2HAND, a self-supervised 3D hand reconstruction network that can jointly estimate pose, shape, texture, and the camera viewpoint. Specifically, we obtain geometric cues from the input image through easily accessible 2D detected keypoints. To learn an accurate hand reconstruction model from these noisy geometric cues, we utilize the consistency between 2D and 3D representations and propose a set of novel losses to rationalize outputs of the neural network. For the first time, we demonstrate the feasibility of training an accurate 3D hand reconstruction network without relying on manual annotations. Our experiments show that the proposed method achieves comparable performance with recent fully-supervised methods while using fewer supervision data.

연구 동기 및 목표

• 3D 손 재구성에서 고비용 3D 애노테이션에 대한 의존도를 줄이기 위해 자기지도 학습 훈련을 가능하게 한다.
• 단일 RGB 이미지에서 3D 손 자세, 형태, 텍스처, 카메라 시점 등을 동시에 추정한다.
• 정답 3D 레이블 대신 노이즈가 있는 2D 관절 키포인트 검출과 이미지 텍스처를 지도 신호로 활용한다.
• 2D-3D 일치성 손실과 기하학적 사전 지식을 도입하여 노이즈가 있는 지도 신호에 대한 강건성을 향상시킨다.
• 수동적인 3D 애노테이션이 없이도 정확한 3D 손 재구성이 가능하다는 것을 입증한다.

제안 방법

• 오프더쉘프 2D 관절 키포인트 검출기(예: OpenPose)를 사용하여 레이블이 없는 이미지에서 노이즈가 있는 2D 관절 키포인트 지도 신호를 생성한다.
• 모델 기반 오토인코더를 활용하여 입력 이미지에서 3D 손 메쉬, 관절, 형태, 텍스처, 카메라 파라미터를 예측한다.
• 예측된 3D 관절을 다시 이미지 평면으로 투영하여 검출된 2D 관절 키포인트와 일치시키는 방식으로 2D-3D 일치성을 강제한다.
• 공유된 특징을 사용하여 2D 관절 키포인트 추정과 3D 재구성을 동시에 최적화하는 새로운 2D-3D 일치성 손실을 도입한다.
• 사람의 손 길이 제약, 관절 각도 정규화 등 기하학적 사전 지식을 통합하여 부적절한 3D 손 자세를 방지한다.
• 이미지 텍스처와 조명 모델링을 활용하여 3D 손 메쉬에 현실적인 텍스처를 생성하지만, 3D 지도 없이도 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 손 재구성에 3D 애노테이션이 전혀 필요 없이 정확하게 학습시킬 수 있는가?
• RQ2 노이즈가 있는 2D 관절 키포인트 검출은 3D 손 재구성에 얼마나 효과적인 지도 신호인가?
• RQ3 기본 지도 학습 대비 노이즈가 있는 지도 신호에서 2D-3D 일치성 손실이 성능 향상에 기여하는가?
• RQ4 이미지 텍스처와 2D 관절 키포인트 일치성에 기반한 자기지도 학습이 완전히 지도 학습 기반 방법과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 극도로 비정상적인 자세, 부분 가림, 복잡한 조명 조건에서 자기지도 학습 3D 손 재구성의 실패 원인은 무엇인가?

주요 결과

• 제안된 자기지도 학습 방법은 HO-3D 및 FreiHand 데이터셋에서 기존의 완전히 지도 학습된 최신 기술 수준의 방법과 유사한 3D 손 재구성 성능을 달성한다.
• 2D-3D 일치성 손실을 도입함으로써 기준 모델 대비 2D MPJPE가 2D 관절 키포인트 브랜치에서 5.4% 감소하고, 3D 투영 브랜치에서는 9.3% 감소하였다.
• 특히 HO-3D 데이터셋에서 더 많은 가림이 있는 조건에서, 정답 2D 관절 키포인트를 사용한 약한 지도 학습보다 자기지도 학습 방법이 더 뛰어난 성능을 보였다.
• 노이즈가 있는 2D 관절 키포인트 검출에 대해 강건성을 보이며, 2D 및 3D 브랜치의 공동 최적화로 성능 향상을 얻었다.
• 텍스처 모델링은 시각적 현실감을 향상시켰지만, 형태 재구성 정확도에는 크게 기여하지 않아 현재의 손 메시 및 조명 모델링의 한계를 시사한다.
• 극도로 비정상적인 자세, 심한 가림, 복잡한 피부 반사 조건에서는 실패 사례가 발생하였으며, 주로 2D 관절 키포인트 검출의 열악함과 거친 표면 표현 방식이 원인이다.