[논문 리뷰] Geometry-aware Two-scale PIFu Representation for Human Reconstruction

Zheng Dong, Ke Xu외 4명|arXiv (Cornell University)|2021. 12. 03.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 희소하고 노이즈가 많은 RGBD 입력에서 3D 인간 재구성에 대해 기하학적 인식이 가능한 이중 스케일 PIFu 표현을 제안한다. 깊이 노이즈 제거와 3D 재구성의 다중 작업 학습을 활용하여 국소 기하학적 특징과 전반적 위상 구조를 향상시킨다. 얼굴과 몸통 재구성을 별도의 MLP로 처리함으로써 고해상도의 얼굴 세부 사항과 일관성 있는 몸통 기하학을 달성하며, 도전적인 촬영 조건에서도 기존 최고 수준의 방법들을 능가하는 세부 사항 복원 및 위상 정확도를 확보한다.

ABSTRACT

Although PIFu-based 3D human reconstruction methods are popular, the quality of recovered details is still unsatisfactory. In a sparse (e.g., 3 RGBD sensors) capture setting, the depth noise is typically amplified in the PIFu representation, resulting in flat facial surfaces and geometry-fallible bodies. In this paper, we propose a novel geometry-aware two-scale PIFu for 3D human reconstruction from sparse, noisy inputs. Our key idea is to exploit the complementary properties of depth denoising and 3D reconstruction, for learning a two-scale PIFu representation to reconstruct high-frequency facial details and consistent bodies separately. To this end, we first formulate depth denoising and 3D reconstruction as a multi-task learning problem. The depth denoising process enriches the local geometry information of the reconstruction features, while the reconstruction process enhances depth denoising with global topology information. We then propose to learn the two-scale PIFu representation using two MLPs based on the denoised depth and geometry-aware features. Extensive experiments demonstrate the effectiveness of our approach in reconstructing facial details and bodies of different poses and its superiority over state-of-the-art methods.

연구 동기 및 목표

• 희소하고 노이즈가 많은 RGBD 촬영 조건에서 기존 PIFu 기반 방법의 얼굴 및 몸통 세부 사항 품질 저하 문제를 해결하기 위해.
• 희소 시점에서 증폭된 깊이 노이즈로 인한 위상 오류와 과도하게 매끄러운 표면 문제를 극복하기 위해.
• 깊이 노이즈 제거와 3D 재구성 간 상호보완적 관계를 활용하여 재구성 정밀도를 향상시키기 위해.
• 얼굴과 몸통에 대해 별도의 MLP를 사용하는 이중 스케일 PIFu 표현을 통해 고주파 수준의 얼굴 세부 사항 모델링 능력을 향상시키기 위해.
• 경량 가중 융합 전략을 통해 재구성된 얼굴과 몸통 구성 요소를 정확하고 아티팩트 없는 방식으로 융합하기 위해.

제안 방법

• 깊이 노이즈 제거와 3D 재구성을 다중 작업 학습 문제로 공식화하여 국소 기하학적 정밀도와 전반적 위상 일관성 향상을 동시에 달성한다.
• RGB와 깊이 특징을 효과적으로 융합하기 위해 채널 주의 모듈(Channel Attention Module, CAM)과 기하학적 인식 주의 모듈(Geometry-aware Attention Module, GAM)을 사용하여 기하학적 맥락을 반영한 특징을 풍부하게 한다.
• 노이즈가 심한 깊이 맵을 정제하기 위해 노이즈 제거 헤드를 적용하여 국소 기하학적 세부 정보를 특징 표현에 통합한다.
• 얼굴과 몸통의 점유 필드를 별도로 모델링하기 위해 두 개의 별도 MLP인 PIFu-Face와 PIFu-Body를 활용하여 복잡도를 감소시키고 세부 사항 모델링 성능을 향상시킨다.
• 두 MLP의 출력을 융합하기 위해 가중치 기반 얼굴-몸통 융합 모듈을 도입하여 경계에서의 스티칭 아티팩트를 최소화한다.
• 얼굴-몸통 전이 영역에서의 날카운 노이즈를 억제하기 위해 깊이 및 점유 예측 일관성을 강제하는 정규화 손실 $L_{\text{reg}}$ 를 통합한다.

실험 결과

연구 질문

• RQ1 깊이 노이즈 제거와 3D 재구성의 다중 작업 학습은 희소하고 노이즈가 많은 RGBD 입력에서 3D 인간 재구성 품질 향상에 기여하는가?
• RQ2 얼굴과 몸통에 대해 별도의 MLP를 사용하는 이중 스케일 PIFu 표현은 단일 통합 PIFu에 비해 고주파 세부 사항 복원 능력을 향상시키는가?
• RQ3 기하학적 인식 특징 융합 및 주의 메커니즘은 노이즈가 많은 깊이 조건 하에서도 재구성의 강건성을 향상시키는가?
• RQ4 제안된 가중치 기반 얼굴-몸통 융합 전략은 단순 연결 또는 융합과 비교해 아티팩트 제거 효과가 뛰어난가?
• RQ5 정규화 손실 $L_{\text{reg}}$ 는 경계 일관성 향상과 스티치 영역의 노이즈 감소에 어느 정도 기여하는가?

주요 결과

• 깊이 노이즈 제거 작업을 제거할 경우 메시 지표(Mesh metric)는 14.84% 감소하고, 노멀 지표(Normal metric)는 18.98% 감소하여 기하학적 정밀도 유지를 위한 핵심적 역할을 확인한다.
• 3D 감독 없이도 노이즈 제거된 깊이 맵은 잘못된 얼굴 특징이나 옷 주름과 같은 잘못된 세부 정보를 포함할 수 있어, 전반적 위상 안내의 중요성을 입증한다.
• CAM 대신 ASPP+ResCBAM를 사용하거나 GAM을 제거할 경우 성능 저하가 발생하여, 특징 융합 및 기하학적 정보 강화에 효과적임을 입증한다.
• PIFu-Face 모듈은 시각적 비교에서 뚜렷한 주름과 털실세부를 유지하는 유일한 방법으로서 얼굴 세부 사항 재구성 능력 향상을 뚜렷이 보여준다.
• 가중치 기반 얼굴-몸통 융합 모듈은 단순 병합 방식과 달리 스티칭 아티팩트를 성공적으로 제거하며, 눈에 띄는 균열과 이질감을 방지한다.
• 정규화 손실 $L_{\text{reg}}$ 는 아티팩트 연구에서 깔끔한 깊이 및 점유 예측을 통해 얼굴-몸통 경계에서 날카운 노이즈를 효과적으로 억제함을 입증한다.