[논문 리뷰] PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction

Zerong Zheng, Changyuan Yu외 2명|arXiv (Cornell University)|2020. 07. 08.

Advanced Vision and Imaging인용 수 8

한 줄 요약

PaMIR는 SMPL 신체 모델과 딥 암시 함수를 결합하여 단일 RGB 이미지에서 고해상도, 세부 정보가 풍부한 3D 인간 재구성을 가능하게 하는 매개변수 모델 조건부 암시 표현을 제안한다. 깊이 모호성 인식 손실과 신체 기준 최적화 모듈을 통합함으로써, 정확한 SMPL 초기화가 없더라도 도전적인 자세와 복잡한 의복 상황에서도 최신 기술 수준의 성능을 달성하며, 캘리브레이션을 필요로 하지 않는 다중 이미지 설정으로도 잘 일반화된다.

ABSTRACT

Modeling 3D humans accurately and robustly from a single image is very challenging, and the key for such an ill-posed problem is the 3D representation of the human models. To overcome the limitations of regular 3D representations, we propose Parametric Model-Conditioned Implicit Representation (PaMIR), which combines the parametric body model with the free-form deep implicit function. In our PaMIR-based reconstruction framework, a novel deep neural network is proposed to regularize the free-form deep implicit function using the semantic features of the parametric model, which improves the generalization ability under the scenarios of challenging poses and various clothing topologies. Moreover, a novel depth-ambiguity-aware training loss is further integrated to resolve depth ambiguities and enable successful surface detail reconstruction with imperfect body reference. Finally, we propose a body reference optimization method to improve the parametric model estimation accuracy and to enhance the consistency between the parametric model and the implicit function. With the PaMIR representation, our framework can be easily extended to multi-image input scenarios without the need of multi-camera calibration and pose synchronization. Experimental results demonstrate that our method achieves state-of-the-art performance for image-based 3D human reconstruction in the cases of challenging poses and clothing types.

연구 동기 및 목표

• 깊이 모호성, 자기 음영, 다양한 자세와 의복으로 인해 단일 이미지 3D 인간 재구성이 잘 정의되지 않는 문제를 해결하기 위해.
• 순수하게 매개변수 기반 또는 비매개변수 기반 표현의 한계를 극복하기 위해 SMPL 사전 지식을 자유형 암시 함수와 통합하기 위해.
• 추론 중 정확하지 않은 SMPL 추정에 대응하기 위해 깊이 모호성을 완화하고 신체 기준 정렬을 개선함으로써 일반화 능력을 향상시키기 위해.
• 다중 카메라 캘리브레이션 또는 자세 동기화 없이 다양한 자세와 의복 유형에서 강인하고 세부 정보가 풍부한 재구성을 가능하게 하기 위해.

제안 방법

• 매개변수 기반 SMPL 모델의 특징에 조건부가 된 딥 암시 함수를 조건으로 하여 자유형 기하학 학습을 안내하는 통합 표현인 PaMIR를 제안한다.
• 실제 깊이 데이터가 없을 경우 깊이 모호성으로 인한 오차를 줄이기 위해 깊이 모호성 인식 학습 손실을 도입한다.
• 추론 중에 SMPL 추정을 개선하여 이미지 관측치와의 정렬을 향상시키기 위해 신체 기준 최적화 모듈을 활용한다.
• 이미지 특징과 SMPL 기반 3D 특징 볼륨을 추출하기 위해 듀얼 브랜치 네트워크를 사용하며, 이를 통해 3D 점에서의 암시 함수 값 예측에 사용한다.
• 다중 시점에서의 확장은 카메라 캘리브레이션 또는 동기화된 자세가 필요 없이 시점 간 특징 융합을 통해 가능하게 한다.
• 고품질 3D 스캔을 활용해 지도 학습을 수행하며, 암시 함수는 SMPL 템플릿을 초월한 세부 사항 학습에 활용된다.

실험 결과

연구 질문

• RQ1 SMPL 신체 모델 추정이 정확하지 않을 경우 단일 RGB 이미지에서 3D 인간 재구성을 어떻게 향상시킬 수 있는가?
• RQ2 매개변수 모델에 조건부가 된 딥 암시 함수가 도전적인 자세와 의복에 대해 고해상도 표면 세부 정보 복원을 달성하면서도 강인한가?
• RQ3 실제 깊이 데이터가 없을 경우 학습 중 깊이 모호성을 어떻게 완화하여 일반화 능력을 향상시킬 수 있는가?
• RQ4 신체 기준 최적화가 예측된 SMPL 모델과 이미지 관측치 간 정렬을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 다중 이미지 재구성으로 확장될 수 있는가? 이 경우 다중 카메라 캘리브레이션 또는 자세 동기화가 필요하지 않은가?

주요 결과

• 제안된 방법은 복잡한 의복과 도전적인 자세를 다룰 때 특히 최신 기술 수준의 성능을 달성한다.
• 신체 기준 최적화 후 BUFF 데이터셋에서 평균 관절 위치 오차(MPJPE)는 2.65 cm에서 2.49 cm로 감소했으며, TWINDOM 데이터셋에서는 2.85 cm에서 2.74 cm로 감소했다.
• 정규화 재투영 오차는 1개 시점일 경우 0.161에서 4개 시점일 경우 0.135로 감소하여 다중 시점 융합에 의해 기하학적 세부 정보 복원이 향상됨을 나타낸다.
• 깊이 모호성 인식 손실 덕분에 SMPL 기준이 불완전한 경우에도 표면 세부 정보 재구성이 성공적으로 이루어지며, 정확한 초기화에 대한 의존도가 감소한다.
• 다중 이미지 입력으로도 잘 일반화되어 다중 카메라 캘리브레이션 또는 자세 동기화 없이 일관되고 세부 정보가 풍부한 재구성을 달성한다.
• 극도로 도전적인 자세에서 실패 케이스가 발생함에 따라 현재 높이로 복잡한 신체 구조를 처리하는 데 한계가 있음을 시사한다.