[논문 리뷰] Camera-Space Hand Mesh Recovery via Semantic Aggregation and Adaptive 2D-1D Registration

Xingyu Chen, Yufeng Liu외 7명|arXiv (Cornell University)|2021. 03. 04.

Human Pose and Action Recognition참고 문헌 43인용 수 5

한 줄 요약

이 논문은 루트 상대 메시 복원과 루트 위치 추정을 동시에 해결하여 카메라 기준 공간에서 단일 RGB 이미지로부터 3D 손 메시 복원을 위한 통합 프레임워크인 Camera-Space Mesh Recovery (CMR)를 제안한다. 의미 인식 2D 신호 집약과 적응형 2D-1D 정렬을 활용하여 FreiHAND, RHD, Human3.6M에서 최신 기준 성능을 달성하며, FreiHAND에서 48.8 mm CS-MPJPE와 48.9 mm CS-MPVPE를 기록한다.

ABSTRACT

Recent years have witnessed significant progress in 3D hand mesh recovery. Nevertheless, because of the intrinsic 2D-to-3D ambiguity, recovering camera-space 3D information from a single RGB image remains challenging. To tackle this problem, we divide camera-space mesh recovery into two sub-tasks, i.e., root-relative mesh recovery and root recovery. First, joint landmarks and silhouette are extracted from a single input image to provide 2D cues for the 3D tasks. In the root-relative mesh recovery task, we exploit semantic relations among joints to generate a 3D mesh from the extracted 2D cues. Such generated 3D mesh coordinates are expressed relative to a root position, i.e., wrist of the hand. In the root recovery task, the root position is registered to the camera space by aligning the generated 3D mesh back to 2D cues, thereby completing cameraspace 3D mesh recovery. Our pipeline is novel in that (1) it explicitly makes use of known semantic relations among joints and (2) it exploits 1D projections of the silhouette and mesh to achieve robust registration. Extensive experiments on popular datasets such as FreiHAND, RHD, and Human3.6M demonstrate that our approach achieves stateof-the-art performance on both root-relative mesh recovery and root recovery. Our code is publicly available at https://github.com/SeanChenxy/HandMesh.

연구 동기 및 목표

• 2D에서 3D로의 모호성을 해결하기 위해 절대적인 카메라 공간 좌표를 복원함으로써 단일 카메라 3D 손 메시 복원의 과제를 해결한다.
• 기존 방법이 루트 상대 3D 메시만 예측하는 한계를 극복하여 손-물체 상호작용과 같은 응용 분야를 가능하게 한다.
• 관절 간 의미적 관계를 명시적으로 모델링하고 실루엣 투영을 활용하여 가림, 잘림, 복잡한 자세에 대한 강건성을 향상시킨다.
• 루트 상대 메시 복원과 루트 위치 추정을 하나의 파이프라인으로 통합하여 엔드 투 엔드 카메라 공간 메시 복원을 실현한다.
• Human3.6M 및 COCO 데이터셋에서 동일한 프레임워크를 활용해 전신 메시 복원으로의 일반화 능력을 입증한다.

제안 방법

• 단일 RGB 이미지에서 2D 관절 랜드마크와 실루엣을 추출하여 3D 복원의 입력 신호로 사용한다.
• 기존 해부학적 관계를 기반으로 관절 히트맵을 그룹화하는 의미 인식 집약 모듈을 적용하여 보다 효과적인 2D 신호를 생성한다.
• 2D 신호로부터 강건한 3D 메시 복원을 위해 인셉션 스플라이럴 모듈을 사용하여 루트 상대 메시 좌표를 생성한다.
• 예측된 3D 메시를 2D 랜드마크(2D)와 실루엣 투영(1D)에 동시에 정렬하는 적응형 2D-1D 정렬 방법을 통해 글로벌 메시 정렬을 수행한다.
• 다차원 매칭 목적함수를 최적화하여 루트 위치 추정의 정확성과 강건성을 향상시킨다.
• 2D 키포인트 및 실루엣 애너테이션에 대한 지도 학습을 통해 엔드 투 엔드 파이프라인을 학습하고, 3D 메시 및 루트 위치 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 손 관절 간의 의미적 관계를 어떻게 명시적으로 활용하여 2D에서 3D로의 손 메시 복원 성능을 향상시킬 수 있는가?
• RQ2 2D 관절 랜드마크와 실루엣을 동시에 활용하는 가장 효과적인 방법은 무엇인가? 이는 카메라 공간 메시 복원의 강건성을 높이는 데 기여하는가?
• RQ3 루트 상대 메시 복원과 루트 위치 추정을 동시에 최적화하는 통합 프레임워크는 카메라 공간 정확도 향상에 어떤 기여를 하는가?
• RQ4 기본 2D 정렬 또는 3D 정렬 대비 적응형 2D-1D 정렬은 강건성 향상에 어떻게 기여하는가?
• RQ5 제안된 방법은 데이터셋 및 작업 간에 얼마나 잘 일반화되는가? 특히 전신 메시 복원과 같은 응용 분야에서도 성능이 유지되는가?

주요 결과

• CMR는 FreiHAND에서 48.8 mm CS-MPJPE와 48.9 mm CS-MPVPE를 기록하며, I2L-MeshNet과 ObMan을 각각 11.5 mm와 36.5 mm 이상 뛰어넘는 최신 기준 성능을 달성한다.
• RHD 데이터셋에서 CMR-PG는 3D PCK의 AUC가 0.949로 모든 비교 방법을 초월하며, CMR-SG는 0.944 AUC를 기록한다.
• CMR-SG는 루트 복원과 카메라 공간 메시 복원에서 최고 성능을 보이며, FreiHAND에서 59.0 mm PA-MPVPE와 44.7 mm PA-MPJPE를 기록한다.
• 방법은 전신 메시 복원으로도 잘 일반화되며, Human3.6M 및 COCO에서 Pose2Mesh와 I2L-MeshNet과 비교해 유사하거나 더 낮은 MPJPE와 PA-MPJPE 성능을 기록한다.
• CMR-PG는 FreiHAND에서 6.9 mm PA-MPJPE를 기록하여 루트 상대 메시 복원의 높은 정확도를 입증하며, 동시에 낮은 GPU 메모리 사용량(1.5–1.9G)과 빠른 추론 속도를 유지를 한다.
• 정성적 결과는 가림, 잘림, 도전적인 자세 상황에서도 강건성을 보이며, 정확한 측면 시각 및 카메라 공간 메시 복원을 가능하게 한다.