[논문 리뷰] AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction

Zerui Chen, Yana Hasson외 2명|arXiv (Cornell University)|2022. 07. 26.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 단일 RGB 영상에서 3D 손-물체 재구성을 향상시키기 위해 매개변수화된 손 및 물체 모델을 서명 거리 필드(SDF)와 결합하는 새로운 프레임워크인 AlignSDF를 제안한다. 자세와 형태 학습을 분리하고 추정된 MANO 및 물체 자세 파라미터를 사용해 SDF를 정규화된 자세 기준으로 정렬함으로써, 특히 손-물체 상호작용을 모델링할 때 최신 기술 수준의 정확도와 세부 재구성 성능을 달성한다.

ABSTRACT

Recent work achieved impressive progress towards joint reconstruction of hands and manipulated objects from monocular color images. Existing methods focus on two alternative representations in terms of either parametric meshes or signed distance fields (SDFs). On one side, parametric models can benefit from prior knowledge at the cost of limited shape deformations and mesh resolutions. Mesh models, hence, may fail to precisely reconstruct details such as contact surfaces of hands and objects. SDF-based methods, on the other side, can represent arbitrary details but are lacking explicit priors. In this work we aim to improve SDF models using priors provided by parametric representations. In particular, we propose a joint learning framework that disentangles the pose and the shape. We obtain hand and object poses from parametric models and use them to align SDFs in 3D space. We show that such aligned SDFs better focus on reconstructing shape details and improve reconstruction accuracy both for hands and objects. We evaluate our method and demonstrate significant improvements over the state of the art on the challenging ObMan and DexYCB benchmarks.

연구 동기 및 목표

• 기존 방법이 형태 세부 사항과 상호작용의 정확성에서 어려움을 겪는 단일 RGB 영상에서 세밀한 3D 손-물체 상호작용을 재구성하는 과제를 해결한다.
• 형태 변형과 해상도를 제한하는 매개변수화된 메esh 모델의 한계와, 명시적인 기하학적 사전 지식이 부족한 SDF 기반 방법의 한계를 극복한다.
• 손에 대한 MANO, 물체에 대한 물체 이동을 위한 매개변수화된 모델의 사전 지식을 SDF 학습에 통합하여 형태 재구성 정확도를 향상시킨다.
• 전역 변환(회전 및 이동)을 정규화함으로써 자세와 형태 학습을 분리하여 SDF 학습을 단순화한다.
• 자세 정규화된 기준 공간에 SDF를 정렬함으로써 고해상도의 접촉 인식 재구성을 가능하게 하여 손과 물체의 재현을 향상시킨다.

제안 방법

• 손 자세를 MANO 네트워크를 사용해 추정하여 정규화된 손 자세(손목의 회전 및 이동)를 확보하고, 이를 SDF 공간을 정규화하는 데 사용한다.
• 전용 물체 자세 네트워크를 통해 물체 이동을 추정하고, 이를 사용해 물체 SDF 공간을 정규화하여 기준 프레임에 정렬한다.
• 각각의 손 및 물체 SDF 네트워크를 자세 정규화된 기준 공간에서 별도로 학습시켜 SDF가 순수하게 형태 세부 사항에 집중할 수 있도록 한다.
• 추론 과정에서 진짜 손 자세와 추정된 물체 이동을 사용하여 분석의 상한선 기준을 제공한다.
• 분리된 표현을 활용해 일반화 능력을 향상시키고 전역 자세 변화에 대한 민감도를 감소시킨다.
• 형태 재구성, 자세 추정, 상호작용 지표(접촉 비율, 관통 깊이)를 조합한 다중 작업 손실을 사용해 전체 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 매개변수화된 모델에서 유도된 명시적 자세 사전 지식이 3D 손-물체 재구성의 암묵적 SDF 표현 학습에 기여하는가?
• RQ2 자세와 형태 학습을 분리하면 공동 최적화에 비해 더 높은 재구성 정확도와 세부 사항 충실도를 달성하는가?
• RQ3 자세에 맞춰 정렬된 SDF는 표준 SDF나 메쉬 기반 방법보다 더 정교한 손-물체 상호작용(예: 접촉 및 관통)을 더 잘 모델링하는가?
• RQ4 DexYCB와 같은 실제 벤치마크에서 최신 기술 수준의 접근법에 비해 제안된 방법은 어떤 성능을 보이는가?
• RQ5 기준 자세 정규화가 SDF 학습의 복잡성을 얼마나 줄이고 일반화 능력을 향상시키는가?

주요 결과

• 실제 환경 벤치마크인 DexYCB에서 제안된 방법은 손 표면 오차(H_se)를 29.4% 향상시키고 물체 표면 오차(O_se)를 20.5% 향상시켰다.
• ObMan에서 전체 모델(g)은 기준 모델 대비 H_se를 6.4% 감소시키고 H_ve를 8.8% 감소시켜 자세 정규화의 유용성을 입증했다.
• DexYCB에서 접촉 비율(C_r)은 96.1%를 기록하여 테스트 샘플의 96% 이상에서 재구성된 손과 물체가 접촉하고 있음을 나타낸다.
• 관통 깊이(P_d)는 0.71 mm로 감소하고 교차 부피(I_v)는 3.45 mm³로 줄어들어 이전 방법에 비해 상호작용의 현실성 향상을 보였다.
• 정성적 결과에서는 특히 복잡한 손-물체 구성에서 얇은 구조물과 세부 사항의 재현 능력이 뛰어나다는 것이 확인되었다.
• 절단 분석 결과 자세 정규화가 O_se를 4.09에서 3.36 cm²로 감소시키며 SDF 학습 효율성을 크게 향상시킨다는 것이 입증되었다.