[논문 리뷰] Geo-PIFu: Geometry and Pixel Aligned Implicit Functions for Single-view Human Reconstruction

Tong He, John Collomosse외 2명|arXiv (Cornell University)|2020. 06. 15.

3D Shape Modeling and Analysis참고 문헌 36인용 수 100

한 줄 요약

Geo-PIFu는 기하학 정렬 잠재 복셀 특징과 픽셀 정렬 이미지 특징을 결합하여 단일 이미지로 의복을 입은 인간 메시를 재구성하고, 잠재 3D 복셀 프록시로 규제하여 전역 토폴로지와 국부 표면 디테일에서 최첨단 성능을 달성한다.

ABSTRACT

We propose Geo-PIFu, a method to recover a 3D mesh from a monocular color image of a clothed person. Our method is based on a deep implicit function-based representation to learn latent voxel features using a structure-aware 3D U-Net, to constrain the model in two ways: first, to resolve feature ambiguities in query point encoding, second, to serve as a coarse human shape proxy to regularize the high-resolution mesh and encourage global shape regularity. We show that, by both encoding query points and constraining global shape using latent voxel features, the reconstruction we obtain for clothed human meshes exhibits less shape distortion and improved surface details compared to competing methods. We evaluate Geo-PIFu on a recent human mesh public dataset that is $10 imes$ larger than the private commercial dataset used in PIFu and previous derivative work. On average, we exceed the state of the art by $42.7\%$ reduction in Chamfer and Point-to-Surface Distances, and $19.4\%$ reduction in normal estimation errors.

연구 동기 및 목표

• 피처의 모호성과 전역 형상 규칙성 문제를 다뤄 단일 시점 의복 인간 재구성의 개선을 목표로 한다.
• 고해상도 메시 출력의 규제를 위한 거친 점유 프록시로 학습되는 기하학 정렬 잠재 복셀 특징을 도입한다.
• 3D 기하 특징과 2D 픽셀 특징을 융합해 전역 토폴로지와 국부 표면 디테일을 모두 개선한다.

제안 방법

• 질의 포인트를 기하학 정렬 3D 특징과 픽셀 정렬 2D 특징으로 융합된 특징으로 인코딩한다.
• 3D U-Nets를 사용하여 입력 이미지를 저해상도 잠재 3D 복셀 격자로 올려 기하학 정렬 특징을 생성한다.
• 2D U-Net에서 픽셀 정렬 특징을 추출하고 이를 질의 포인트의 투영된 픽셀 좌표에서 보간한다.
• 잠재 복셀 특징에 대해 질의 포인트 각각의 기하학 정렬 인코딩을 얻기 위해 트라이리니어 보간를 사용한다.
• 잠재 복셀 특징을 감독하기 위한 거친 점유 부피 손실과 점유 값에 대한 고주파 질의 포인트 손실을 함께 학습한다.
• L_geo 및 L_query 손실을 사용하는 점진적 학습 일정으로 이미지 I와 3D 포인트 P를 매핑하는 암시적 표면 함수 f(I, P)를 최적화한다.

실험 결과

연구 질문

• RQ1 기하학 정렬 잠재 복셀 특징과 픽셀 정렬 특징의 결합이 단일 시점 의복 인간 재구성에서 국소 피처 모호성을 해소할 수 있는가?
• RQ2 잠재 복셀 특징을 통한 전역 형태 프록시가 재구성된 메시의 타당성과 토폴로지를 개선하는가?
• RQ3 다른 피처 융합 전략이 Geo-PIFu의 전역 토폴로지와 국부 표면 디테일에 어떤 영향을 미치는가?

주요 결과

• Geo-PIFu는 DeepHuman 데이터셋에서 Chamfer Distance와 Point-to-Surface Distance의 기존 최첨단 대비 42.7%를 감소시켰다.
• Geo-PIFu는 PIFu에 비해 평균적으로 법선 추정 오차를 19.4% 감소시킨다.
• 기하학 정렬 3D 특징과 픽셀 정렬 2D 특징을 모두 사용하는 것이 각각을 단독으로 사용할 때보다 더 나은 전역 토폴로지와 국부 표면 디테일을 제공한다.
• 거친 잠재 복셀 프록시는 전역 형상을 규제하여 손과 발의 왜곡 같은 아티팩트를 줄인다.
• 분석 연구는 3D 및 2D 피처의 초기 융합이 단순 구현으로도 경쟁력 있는 성능을 제공함을 보여준다.