[논문 리뷰] DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Rendering.

Ruizhi Shao, Hongwen Zhang외 4명|arXiv (Cornell University)|2021. 06. 07.

Advanced Vision and Imaging인용 수 6

한 줄 요약

DoubleField는 공유된 특징 임베딩과 표면 유도 샘플링를 사용하여 인간의 기하학적 구조와 외관을 함께 모델링하는 통합 신경 표현을 제안한다. 이는 희소 다중 시점 입력에서 빠르고 고해상도의 자유 시점 렲링을 가능하게 하며, 뷰 간 트랜스포머와 전이 학습을 통해 초고해상도 입력 처리를 위한 최신 기술 수준의 결과를 달성한다.

ABSTRACT

We introduce DoubleField, a novel representation combining the merits of both surface field and radiance field for high-fidelity human rendering. Within DoubleField, the surface field and radiance field are associated together by a shared feature embedding and a surface-guided sampling strategy. In this way, DoubleField has a continuous but disentangled learning space for geometry and appearance modeling, which supports fast training, inference, and finetuning. To achieve high-fidelity free-viewpoint rendering, DoubleField is further augmented to leverage ultra-high-resolution inputs, where a view-to-view transformer and a transfer learning scheme are introduced for more efficient learning and finetuning from sparse-view inputs at original resolutions. The efficacy of DoubleField is validated by the quantitative evaluations on several datasets and the qualitative results in a real-world sparse multi-view system, showing its superior capability for photo-realistic free-viewpoint human rendering. For code and demo video, please refer to our project page: this http URL.

연구 동기 및 목표

• 희소 다중 시점 입력에서 사진 수준의 자유 시점 인간 렌더링을 달성하는 데 도전하는 것.
• 훈련 및 추론 효율성을 향상시키기 위해 기하학적 구조와 외관 모델링을 연속적이지만 분리된 신경 표현으로 통합하는 것.
• 희소 시점에서 고해상도 렌더링의 정밀도를 유지하면서도 신속한 미세조정을 가능하게 하는 것.
• 전이 학습과 뷰 간 트랜스포머를 활용하여 밀도 높은 입력 시점의 필요성을 줄이는 것.

제안 방법

• DoubleField는 공유된 특징 임베딩을 통해 표면 필드와 복사율 필드를 통합하여 기하학적 구조와 외관의 공동이지만 분리된 학습을 가능하게 한다.
• 표면 유도 샘플링 전략은 복사율 필드 쿼리가 예측된 표면과 공간적으로 일치하도록 보장하여 기하학적 일致성을 향상시킨다.
• 이 방법은 뷰 간 트랜스포머를 활용해 입력 뷰 간 특징을 통합하고 전달하여 희소 입력에서의 특징 학습을 향상시킨다.
• 전이 학습 기반의 설계는 원래 고해상도에서의 재학습 없이도 효율적인 미세조정을 가능하게 한다.
• 이 아키텍처는 빠른 훈련, 추론 및 적응을 지원하여 실제 희소 다중 시점 시스템에 적합하다.

실험 결과

연구 질문

• RQ1 통합된 신경 표현은 인간 렌더링의 정밀도를 유지하면서도 기하학적 구조와 외관 모델링을 효과적으로 분리할 수 있는가?
• RQ2 표면 유도 샘플링 전략은 신규 뷰 합성의 일致성과 품질을 어떻게 향상시킬 수 있는가?
• RQ3 뷰 간 트랜스포머는 희소 다중 시점 입력에서 특징 학습을 얼마나 향상시킬 수 있는가?
• RQ4 전이 학습은 전체 재학습 없이도 고해상도 인간 복사율 필드의 효율적 미세조정을 가능하게 할 수 있는가?

주요 결과

• DoubleField는 다양한 벤치마크 데이터셋에서 뛰어난 정량적 성능을 기록하며 자유 시점 렌더링 품질에서 최신 기술 수준의 결과를 달성한다.
• 분리된 연속 학습 공간과 효율적인 샘플링 전략 덕분에 빠른 훈련, 추론 및 미세조정이 가능하다.
• 뷰 간 트랜스포머의 통합은 희소 시점 입력에서의 특징 전파와 렌더링 품질을 크게 향상시킨다.
• 전이 학습은 추가적인 훈련을 최소화하면서도 초고해상도 입력에 대한 모델의 효과적 적응을 가능하게 한다.