[논문 리뷰] Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

Xiao Tang, Tianyu Wang외 1명|arXiv (Cornell University)|2021. 09. 03.

Human Pose and Action Recognition참고 문헌 59인용 수 5

한 줄 요약

이 논문은 RGB 이미지에서 실시간 3D 손 메시 재구성용 3단계 파이프라인을 제안하며, 학습 가능한 정점 오프셋을 통한 가속도 예측, 거친 메시 생성, 그리고 이미지 공간 정렬을 분리한다. 기울기 가능 렌더링과 경량 그래프-CNN를 통합함으로써, 실시간으로 소비자용 하드웨어에서 작동하면서도 손 메시 정밀도와 손가락 수준의 메시-이미지 정렬에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

3D hand-mesh reconstruction from RGB images facilitates many applications, including augmented reality (AR). However, this requires not only real-time speed and accurate hand pose and shape but also plausible mesh-image alignment. While existing works already achieve promising results, meeting all three requirements is very challenging. This paper presents a novel pipeline by decoupling the hand-mesh reconstruction task into three stages: a joint stage to predict hand joints and segmentation; a mesh stage to predict a rough hand mesh; and a refine stage to fine-tune it with an offset mesh for mesh-image alignment. With careful design in the network structure and in the loss functions, we can promote high-quality finger-level mesh-image alignment and drive the models together to deliver real-time predictions. Extensive quantitative and qualitative results on benchmark datasets demonstrate that the quality of our results outperforms the state-of-the-art methods on hand-mesh/pose precision and hand-image alignment. In the end, we also showcase several real-time AR scenarios.

연구 동기 및 목표

• AR 응용을 위한 실시간 3D 손 메시 재구성에서 자세, 형태, 이미지 공간 정렬의 높은 정확도를 달성하는 데 도전한다.
• 기존 방법들이 속도를 위해 이미지 정렬을 포기하거나 반복적 정밀 조정으로 인해 실시간 성능를 확보하지 못하는 한계를 극복한다.
• 손가락 수준의 메시-이미지 정렬 향상으로 자연스러운 AR 상호작용과 신뢰할 수 있는 손-물체 정합을 가능하게 한다.
• 정확도 품질을 희생시키지 않고도 빠른 추론이 가능한 경량이고 분리된 아키텍처를 설계한다.

제안 방법

• 이 방법은 3D 손 메시 재구성을 3단계로 분리한다: 관절 예측(2D/3D 관절 및 세그먼테이션), 거친 메시 생성, 그리고 정점 오프셋 회귀를 통한 정밀 정렬.
• 각 메시 정점의 다중 척도 특징을 추출하기 위해 국소 특징 투영 유닛과 전역 특징 브로드캐스트 유닛을 사용하여 정렬 단계의 오프셋 예측을 안내한다.
• 작은 그래프-CNN가 국소 및 전역 특징을 통합하여 정점별 오프셋 벡터를 추정함으로써 효율적이고 정밀한 메시 정밀 조정을 가능하게 한다.
• 기울기 가능 렌더링 손실($\mathcal{L}_{\textrm{render}}$)을 사용하여 재구성된 메시와 입력 이미지 간의 손가락 수준 정렬을 감독한다.
• 손실 함수에는 세그먼테이션 손실($\mathcal{L}_{\textrm{sil}}$), 메시 재구성 손실, 그리고 기울기 가능 렌더링 손실이 포함되어 정렬과 기하학적 형상의 공동 최적화를 달성한다.
• 전체 파이프라인은 엔드 투 엔드 방식으로 훈련되며 소비자용 GPU에서 실시간 추론을 구현한다.

Figure 1: Comparing 3D hand meshes (top row) reconstructed by I2L-MeshNet [ 32 ] (ECCV 2020) and by our method. Taking these meshes to support AR interaction (bottom row), our predicted hand mesh delivers better finger-level alignment and more natural hand occlusion with the virtual ping pong racket

실험 결과

연구 질문

• RQ1 분리된 비반복적 파이프라인이 실시간 추론과 고해상도 메시-이미지 정렬을 동시에 달성할 수 있는가?
• RQ2 반복 최적화 없이 그래프-CNN 기반 오프셋 정밀 조정이 손가락 수준의 정렬 향상에 얼마나 효과적인가?
• RQ3 기울기 가능 렌더링이 표준 메시 재구성 손실에 비해 이미지 공간 정렬 향상에 얼마나 기여하는가?
• RQ4 국소 및 전역 특징 집합이 정렬 단계에서 정확한 정점 오프셋 예측에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 FreiHand 벤치마크에서 3D 손 메시 정밀도 92.95%를 달성하여 최신 기술 수준의 성능을 초월한다.
• 메시-이미지 정렬 오차를 4.70 mm로 줄여 이전 연구에 비해 손가락 수준 정렬에서 뚜렷한 향상을 보였다.
• 제거 실험 결과, 정렬 단계나 오프셋 회귀 메커니즘을 제거할 경우 정렬 오차가 5.93 mm로 증가하여 이 단계의 핵심적 역할을 확인했다.
• 국소 및 전역 특징 유닛을 모두 포함한 전체 파이프라인은 메시 IoU 0.868을 기록하여 각각의 구성 요소가 없는 변형보다 뛰어난 성능을 보였다.
• 단일 소비자용 GPU에서 30 FPS로 실시간으로 작동하여 실용적인 AR 응용을 가능하게 했다.
• 시각적 결과는 자연스러운 손-물체 정합과 가상 물체(예: 링, 물, 워키토크리 등)와의 상호작용을 잘 반영하고 있다.

Figure 2: Our proposed framework. From the input image with the user’s hand, the joint stage first extracts feature map $F_{\mathcal{I}}$ and sends it to two decoders, one for hand segmentation and the other for generating joint feature $F_{j}$ and predicting the hand-joint locations $J$ . Subsequen