[논문 리뷰] HandTailor: Towards High-Precision Monocular 3D Hand Recovery

Jun Lv, Wenqiang Xu외 4명|arXiv (Cornell University)|2021. 02. 18.

Human Pose and Action Recognition참고 문헌 43인용 수 15

한 줄 요약

HandTailor는 단일 RGB 영상에서 고정밀도 단안 3D 손 메시 복원을 위한 이단계 프레임워크를 제안한다. 이는 투영 방식( perspective 및 weak perspective)을 모두 지원하는 CNN 기반의 손 모듈과, 1 프레임당 약 8ms 내외로 메시를 정밀하게 보정하는 미분 가능 최적화 기반의 테일러 모듈을 조합한다. 이 방법은 RHD 벤치마크에서 2D-3D 일致성 향상으로 AUC_{5-20}를 거의 0.1 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D hand pose estimation and shape recovery are challenging tasks in computer vision. We introduce a novel framework HandTailor, which combines a learning-based hand module and an optimization-based tailor module to achieve high-precision hand mesh recovery from a monocular RGB image. The proposed hand module unifies perspective projection and weak perspective projection in a single network towards accuracy-oriented and in-the-wild scenarios. The proposed tailor module then utilizes the coarsely reconstructed mesh model provided by the hand module as initialization, and iteratively optimizes an energy function to obtain better results. The tailor module is time-efficient, costs only 8ms per frame on a modern CPU. We demonstrate that HandTailor can get state-of-the-art performance on several public benchmarks, with impressive qualitative results on in-the-wild experiments. Code and video are available on our project webpage https://sites.google.com/view/handtailor.

연구 동기 및 목표

• 단안 3D 손 복원에서 예측된 3D 메시가 입력 영상에 일관되게 투영되지 않는 2D-3D 불일치 문제를 해결하기 위해.
• 카메라 파라미터가 있는 정밀도 중심의 시나리오와 카메라 파라미터가 없는 실외 응용을 모두 지원할 수 있도록 이중 투영 호환성을 통해 단일 모델을 설계하기 위해.
• 기하적 불일치를 수정하기 위해 경량이고 미분 가능한 보정 모듈을 도입하여 엔드 투 엔드 학습을 초월한 메시 정밀도 향상하기 위해.
• 다양한 중간 표현 기반 방법에 적용 가능한 플러그-앤플레이 테일러 모듈을 설계하기 위해.

제안 방법

• 손 모듈은 단일 딥 네트워크를 사용하여 카메라 파라미터가 있는지 여부에 따라 투영 방식( perspective 또는 weak perspective)에 따라 3D 손 메시를 예측한다.
• 테일러 모듈은 손 모듈에서 생성한 거친 메시를 대상으로 에너지 함수를 최소화하는 미분 가능한 최적화를 수행하며, 관절, 기하학적 일관성, 신원 보존 제약 조건을 포함한다.
• 에너지 함수는 관절 위치 오차($\mathcal{E}_J$), 기하학적 일관성($\mathcal{E}_g$), 신원 보존($\mathcal{E}_{id}$) 항목을 포함하며, 선택적 깊이($\mathcal{E}_d$) 및 실루엣($\mathcal{E}_s$) 제약 조건도 포함할 수 있다.
• 최적화 과정에서 렌더링된 깊이 및 실루엣을 감독으로 사용하기 위해 미분 가능한 렌더러를 활용하여 역전파가 가능하도록 한다.
• 테일러 모듈은 경량 설계로 현대 CPU에서 1 프레임당 약 8ms의 추가 추론 시간만을 유발한다.
• 이 프레임워크는 다른 중간 표현 기반 방법과도 플러그-앤플레이 방식으로 통합 가능하며, 재학습 없이도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 아키텍처 변경 없이도 통합된 딥 러닝 모델이 perspective 및 weak perspective 투영을 효과적으로 처리할 수 있는가?
• RQ2 미분 가능하고 최적화 기반의 보정 모듈이 낮은 추론 비용을 유지하면서도 3D 손 메시의 입력 영상과의 일관성을 크게 향상시킬 수 있는가?
• RQ3 테일러 모듈이 다양한 중간 표현 기반 방법에 일반화되어 플러그인 컴ponent로서 성능 향상을 이끌 수 있는가?
• RQ4 테일러 모듈이 재구성된 손 메시의 2D-3D 투영 불일치를 어느 정도 감소시키는가?

주요 결과

• 테일러 모듈은 RHD 벤치마크에서 AUC_{5-20} 지표를 0.653에서 0.658로 향상시켜 거의 0.1의 향상을 기록하며, 정량적 성과 향상이 뚜렷하게 입증되었다.
• 20회의 반복을 통해 Intel i7-8700 CPU에서 1 프레임당 8.02ms의 추론 시간을 기록하여, 최적화 기반 보정에도 불구하고 높은 효율성을 입증했다.
• 절단 실험 결과, 깊이 및 실루엣 제약 조건($\mathcal{E}_d$, $\mathcal{E}_s$)을 추가할 경우 성능 저하와 시간 증가가 발생하여 수렴성 및 정밀도 향상에 기여하지 않는 것으로 나타났다.
• $\mathcal{E}_g$ 및 $\mathcal{E}_{id}$ 항목이 없는 경우 비현실적인 메시 왜곡이 발생하여, 실제 손의 기하학적 형태와 신원 유지에 이들이 필수적임을 확인했다.
• 정성적 결과에서는 테일러 모듈이 재투영 시에 보이는 작은 그러나 명백한 손가락 이탈을 효과적으로 수정하여 입력 영상과의 시각적 일관성을 향상시켰다.
• 플러그-앤플레이 평가 결과, 다양한 베이스라인 방법에 대해 테일러 모듈이 성능 향상을 이끌어내어 일반화 능력과 재사용 가능성의 우수성을 입증했다.