[논문 리뷰] MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis

Zhenyu Wu, Duc Hoang외 6명|arXiv (Cornell University)|2020. 10. 02.

Human Pose and Action Recognition참고 문헌 56인용 수 7

한 줄 요약

이 논문은 3D 수작업 자세 감독을 사용하여 현실적이고 다양한 3D 자세 유지 속성의 손 이미지를 합성하는 3D 인지 다중모달 생성 네트워크인 MM-Hand를 제안한다. 윤곽선 맵, 깊이 맵, 주의 맵 및 기하 기반 교육 커리큘럼 전략을 통합함으로써, MM-Hand는 일관되게 최신 기술 수준의 3D 손 자세 추정기 성능을 향상시키는 고해상도 합성 데이터를 생성한다. STB 및 RHP 벤치마크에서 SOTA 성능을 기록하며, STB에서 AUC 0.999를 달성한다.

ABSTRACT

Estimating the 3D hand pose from a monocular RGB image is important but challenging. A solution is training on large-scale RGB hand images with accurate 3D hand keypoint annotations. However, it is too expensive in practice. Instead, we have developed a learning-based approach to synthesize realistic, diverse, and 3D pose-preserving hand images under the guidance of 3D pose information. We propose a 3D-aware multi-modal guided hand generative network (MM-Hand), together with a novel geometry-based curriculum learning strategy. Our extensive experimental results demonstrate that the 3D-annotated images generated by MM-Hand qualitatively and quantitatively outperform existing options. Moreover, the augmented data can consistently improve the quantitative performance of the state-of-the-art 3D hand pose estimators on two benchmark datasets. The code will be available at https://github.com/ScottHoang/mm-hand.

연구 동기 및 목표

• 정확한 3D 손 자세 애너테이션이 포함된 대규모 실세계 데이터셋이 부족한 문제를 해결하기 위해, 수집에 비용과 시간이 많이 들기 때문이다.
• 합성된 이미지와 실제 손 이미지 사이의 도메인 갭을 해소하기 위해, 사진처럼 생생하고 다양한 3D 자세 유지 속성의 손 이미지를 생성하기 위해.
• 3D 자세 감독 하에 생성된 합성 데이터를 통한 데이터 증강을 통해 3D 손 자세 추정기의 일반화 능력과 성능을 향상시키기 위해.
• 다중모달 조건부 생성을 통해 자가 음영 및 손가락의 자기 유사성과 같은 도메인 특화 문제를 해결하기 위해.
• 모델 수렴과 현실감을 향상시키기 위해 점진적으로 복잡도를 높이는 기하 기반 커리큘럼 학습 전략을 개발하기 위해.

제안 방법

• MM-Hand는 3D 손 자세에 조건부된 이미지를 합성하기 위해 ResNet 기반 생성기와 패치 기반 판별기로 구성된 조건부 생성 적대 신경망(cGAN)을 사용한다.
• 3D 손 자세에서 유도된 윤곽선 맵, 깊이 맵 및 주의 맵을 통한 다중모달 가이던스를 통합하여 구조적 정확성과 외관의 정밀도를 향상시킨다.
• 외부 데이터셋을 사용하여 3D 자세와 쌍을 이루는 깊이 맵을 학습시켜, 3D 자세에서 현실적인 깊이 감독을 합성한다.
• 기하 기반 커리큘럼 학습(GCT) 전략을 신규로 도입하여, 간단한 자세-이미지 쌍에서 시작하여 점차 복잡도를 높임으로써 학습 안정성과 현실감을 향상시킨다.
• 추론 단계에서는 목표 자세와 가장 유사한 이미지를 선택하기 위해 최근접 이웃 매칭(INNM) 전략을 사용하여 자세 일致성을 향상시킨다.
• 프레임워크는 STB 및 RHP 데이터셋에서 학습 및 평가되며, 실세계 학습 데이터를 증강하기 위해 합성 데이터를 사용하여 자세 추정을 수행한다.

실험 결과

연구 질문

• RQ1 3D 손 자세에만 조건부한 생성 모델이 진정으로 현실적이고 다양한 3D 자세 유지 속성의 손 이미지를 생성할 수 있는가?
• RQ2 윤곽선, 깊이, 주의 맵 등의 다중모달 감독을 통합하면 생성된 손 이미지의 현실감과 자세 정확도가 향상되는가?
• RQ3 기하 기반 커리큘럼 학습 전략이 3D 인지 손 이미지 생성기의 학습을 향상시킬 수 있는가?
• RQ4 MM-Hand가 생성한 이미지를 사용한 데이터 증강이 최신 기술 수준의 3D 손 자세 추정기 성능을 향상시킬 수 있는가?
• RQ5 합성 이미지와 실제 이미지 사이의 도메인 갭이 자세 추정에 미치는 영향은 어느 정도이며, 제안된 방법으로 이를 완화할 수 있는가?

주요 결과

• MM-Hand가 생성한 데이터로 학습한 Hand3D 자세 추정기의 RHP 데이터셋에서 AUC는 0.929를 기록하여 이전의 모든 최신 기술 수준 방법을 초월했다.
• STB 데이터셋에서 증강된 모델은 AUC 0.999를 기록하여 새로운 SOTA 성능을 달성했으며, 기존 최고의 방법들조차도 이를 뛰어넘었다.
• 절단 실험 결과, 다중모달 가이던스, 주의 맵, 커리큘럼 학습, INNM 각각의 구성 요소가 자세 추정 성능을 일관되게 향상시켰다.
• MM-Hand에서 생성된 이미지들은 강력한 시각적 현실감과 자세 일致성을 보였으며, 정성적 결과를 통해 정확한 손가락 위치와 자연스러운 외관이 입증되었다.
• 기하 기반 커리큘럼 학습 전략은 특히 초기 학습 단계에서 모델 수렴과 일반화 능력을 크게 향상시켰다.
• 제안된 방법은 도메인 갭을 효과적으로 완화했으며, RHP 및 STB 벤치마크에서 증강된 합성 데이터를 사용할 경우 일관된 성능 향상이 관찰되었다.