[논문 리뷰] SR-Affine: High-quality 3D hand model reconstruction from UV Maps.

Ping Chen, Dong Yang외 4명|arXiv (Cornell University)|2021. 02. 07.

Hand Gesture Recognition Systems인용 수 1

한 줄 요약

이 논문은 무거운 가림과 복잡한 자세와 같은 도전적인 조건에서도 단일 RGB 이미지로부터 고품질 3D 손 재구성에 적합한 이단계 방법인 SR-Affine를 제안한다. 먼저, 인코더-디코더 네트워크(AffineNet)를 사용해 MANO 손 파라미터를 예측하고, 이후 UV 매핑 기반 초해상도 네트워크(SRNet)를 적용하여 점군을 정밀하게 다듬어, FreiHAND 및 HO3D 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Under various poses and heavy occlusions,3D hand model reconstruction based on a single monocular RGB image has been a challenging problem in computer vision field for many years. In this paper, we propose a SR-Affine approach for high-quality 3D hand model reconstruction. First, we propose an encoder-decoder network architecture (AffineNet) for MANO hand reconstruction. Since MANO hand is not detailed, we further propose SRNet to up-sampling point-clouds by image super-resolution on the UV map. Many experiments demonstrate that our approach is robust and outperforms the state-of-the-art methods on standard benchmarks, including the FreiHAND and HO3D datasets.

연구 동기 및 목표

• 무거운 가림과 복잡한 자세 조건에서도 단일 단안 RGB 이미지로부터 정확한 3D 손 재구성을 해결하는 것.
• MANO 손 모델의 제한된 세부 정보를 초월해 재구성 품질을 향상시키는 것.
• 3D 손 메쉬의 기하학적 세부 정보를 향상시키기 위해 UV 매핑 초해상도를 활용하는 방법을 개발하는 것.
• 표준 3D 손 재구성 벤치마크에서 강인하고 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 단일 RGB 이미지에서 MANO 손 파라미터를 회귀하기 위해 새로운 인코더-디코더 네트워크인 AffineNet을 제안한다.
• 고해상도 3D 손 재구성을 안내하기 위해 UV 매핑을 감독 신호로 사용한다.
• SRNet을 도입하여 UV 매핑에 대한 이미지 초해상도를 수행함으로써 저해상도 점군을 상향 샘플링한다.
• MANO 기반 기하학과 UV 기반 초해상도를 조합하여 원래 MANO 해상도를 초월한 메쉬 세부 정보를 정밀 조정한다.
• 3D 손 자세와 형태 정확도를 향상시키기 위해 다단계 최적화 목표를 갖는 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 프레임워크는 FreiHAND 및 HO3D를 포함한 표준 벤치마크에서 평가되어 강인성과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 무거운 가림과 복잡한 자세 조건에서도 단일 RGB 이미지를 사용해 고품질 3D 손 모델을 재구성할 수 있는가?
• RQ2 UV 매핑 초해상도는 MANO 모델의 해상도를 초월해 3D 손 메쉬의 기하학적 세부 정보를 어떻게 향상시킬 수 있는가?
• RQ3 MANO 기반 회귀와 UV 기반 초해상도를 조합하면 기존 방법보다 더 높은 재구성 품질을 달성할 수 있는가?
• RQ4 제안된 방법은 다양한 손 자세와 가림 상황에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 SR-Affine 방법은 FreiHAND 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 3D 손 재구성 정확도에서 뛰어난 성능을 보였다.
• 이 방법은 중증 가림과 복잡한 손 자세에 대해 강인하며, 높은 재구성 정밀도를 유지한다.
• UV 매핑 초해상도 통합은 기본 MANO 모델의 해상도를 초월해 메쉬 세부 정보를 크게 향상시켰다.
• HO3D 데이터셋에서의 실험을 통해 다양한 손-물체 상호작용 시나리오에서의 일반화 능력이 확인되었다.
• 제거 실험을 통해 AffineNet과 SRNet 구성 요소가 재구성 품질 향상에 효과적임을 검증하였다.
• 3D 손 메쉬 재구성 지표(예: 평균 정점-참값 오차)에서 일관된 향상이 나타났다.