[논문 리뷰] PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

Shunsuke Saito, Tomas Simon외 2명|arXiv (Cornell University)|2020. 04. 01.

Human Pose and Action Recognition참고 문헌 46인용 수 42

한 줄 요약

PIFuHD는 단일 1024×1024 이미지에서 1k 해상도까지 고충실도 3D 의류 인간을 재구성하기 위해 픽셀 정렬 임의 함수의 2단계 엔드-투-엔드 구조를 도입하며, 전/후면 법선 예측의 보조로 가려짐을 해결합니다.

ABSTRACT

Recent advances in image-based 3D human shape estimation have been driven by the significant improvement in representation power afforded by deep neural networks. Although current approaches have demonstrated the potential in real world settings, they still fail to produce reconstructions with the level of detail often present in the input images. We argue that this limitation stems primarily form two conflicting requirements; accurate predictions require large context, but precise predictions require high resolution. Due to memory limitations in current hardware, previous approaches tend to take low resolution images as input to cover large spatial context, and produce less precise (or low resolution) 3D estimates as a result. We address this limitation by formulating a multi-level architecture that is end-to-end trainable. A coarse level observes the whole image at lower resolution and focuses on holistic reasoning. This provides context to an fine level which estimates highly detailed geometry by observing higher-resolution images. We demonstrate that our approach significantly outperforms existing state-of-the-art techniques on single image human shape reconstruction by fully leveraging 1k-resolution input images.

연구 동기 및 목표

• 512×512 입력 한계를 넘어서는 고충실도 단일 이미지 3D 인간 재구성의 동기를 제시한다.
• 거친 전역 맥락과 고해상도 로컬 디테일을 융합하는 다단계 엔드-투-엔드 프레임워크를 제안한다.
• 이미지 공간 노말을 통한 backside/가려진 영역 가이던스로 완전성 및 현실감을 개선한다.
• 손가락, 얼굴 특징, 의류 주름을 보존하는 1k 해상도 재구성을 Demonstrate 한다.

제안 방법

• 512×512(거친) 및 1024×1024(미세) 입력을 처리하는 2단계 아키텍처로 Pixel-Aligned Implicit Function (PIFu)을 확장한다.
• 거친 수준은 다운샘플된 이미지의 특징과 예측된 앞/뒤면 노말을 사용해 점유율을 예측하고 미세 수준에 3D 임베딩을 제공한다.
• 미세 수준은 고해상도 특징과 거친 3D 임베딩을 사용해 더 높은 충실도의 점유 필드를 예측한다.
• 앞뒤 노말은 이미지-투-이미지 변환 네트워크(pix2pixHD)로 생성되며 가려진 영역의 기하에 보조 특징으로 투입된다.
• 샘플링된 포인트에 대한 확률적 이진 크로스 엔트로피를 확장한 다단계 손실과 커브처 기반의 중요 샘플링으로 디테일을 선명하게 한다.
• 거친/미세 모듈의 교대 학습은 엔드-투-엔드 단일 학습보다 더 높은 정확도를 낼 수 있다.

실험 결과

연구 질문

• RQ1 다단계, 픽셀-정렬 임의 표현이 고해상도 입력을 활용해 단일 이미지에서 1k 디테일의 3D 사람을 생성할 수 있는가?
• RQ2 거친 수준의 3D 임베딩과 이미지 공간 노말 프라이어를 도입하면 뒷면 및 미세 디테일 재구성의 정확성과 완전성이 개선되는가?
• RQ3 거친/미세 수준의 교대 학습이 고충실도 재구성에 대해 엔드-투-엔드의 공동 학습보다 더 효과적인가?
• RQ4 포인트-표면 거리, Chamfer 거리 및 노말 일관성 측면에서 이 접근법이 단일 뷰 최첨단 방법들과 어떻게 비교되는가?

주요 결과

• 1k 해상도에서 단일 수준 PIFu 및 다른 기준선들보다 RenderPeople 및 BUFF 데이터셋에서 더 높은 충실도의 3D 재구성을 달성한다.
• 큰 고해상도 특징 임베딩(512×512)과 전체론적 3D 임베딩이 128×128 특징 대비 디테일을 향상시킨다.
• 이미지 공간 가이던스를 통한 예측 뒷면 노말의 도입이 모호성을 줄이고 가려진 영역의 디테일을 개선한다.
• 거친/미세 학습의 교대 학습이 일반적으로 공동 엔드투엔드 학습보다 정확도가 높다.
• 노말을 사용할 때 전면 및 후면 표면 모두에서 샤프한 디테일과 더 현실적인 주름이 나타난다는 질적 결과를 보인다.