[논문 리뷰] Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

Jiahe Li, Jiawei Zhang외 3명|arXiv (Cornell University)|2023. 07. 18.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 고해상도, 실시간 대화형 포트레이트 합성에 적합한 영역 인지 신경 렌더링 필드 프레임워크인 ER-NeRF를 제안한다. 해시 충돌을 줄이기 위해 트리플레인 해시 표현을 도입하고, 음성-공간 영역 간 상호작용을 명시적으로 모델링하기 위해 영역 주의 모듈을 도입함으로써, ER-NeRF는 빠른 수렴, 실시간 추론 및 컴act한 모델 크기를 확보하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents ER-NeRF, a novel conditional Neural Radiance Fields (NeRF) based architecture for talking portrait synthesis that can concurrently achieve fast convergence, real-time rendering, and state-of-the-art performance with small model size. Our idea is to explicitly exploit the unequal contribution of spatial regions to guide talking portrait modeling. Specifically, to improve the accuracy of dynamic head reconstruction, a compact and expressive NeRF-based Tri-Plane Hash Representation is introduced by pruning empty spatial regions with three planar hash encoders. For speech audio, we propose a Region Attention Module to generate region-aware condition feature via an attention mechanism. Different from existing methods that utilize an MLP-based encoder to learn the cross-modal relation implicitly, the attention mechanism builds an explicit connection between audio features and spatial regions to capture the priors of local motions. Moreover, a direct and fast Adaptive Pose Encoding is introduced to optimize the head-torso separation problem by mapping the complex transformation of the head pose into spatial coordinates. Extensive experiments demonstrate that our method renders better high-fidelity and audio-lips synchronized talking portrait videos, with realistic details and high efficiency compared to previous methods.

연구 동기 및 목표

• 기존의 NeRF 기반 대화형 포트레이트 방법이 가지는 추론 속도, 수렴 속도, 재구성 품질의 한계를 해결한다.
• 공간 영역의 희소성과 얼굴 운동에 기여도가 다름을 활용하여 동적 머리 재구성 성능을 향상시킨다.
• 음성-공간 영역 간 상호작용을 명시적으로 모델링하여 입술 동기화 정확도와 국소 운동의 현실감을 향상시킨다.
• 모델 복잡도와 학습 시간을 줄이면서도 고해상도 시각 품질과 실시간 렲링 기능을 유지한다.
• 유연한 자세 인코딩 메커니즘을 통해 머리-몸 분리 문제를 해결함으로써 더 나은 구조 일致성을 확보한다.

제안 방법

• 3차원 공간을 상호 수직인 세 개의 평면으로 분해함으로써 효율적인 3차원 특징 학습이 가능해지며, 비어 있는 영역를 제거하여 해시 충돌을 줄이는 트리플레인 해시 표현을 도입한다.
• 세 개의 평면 해시 인코더를 사용한 컴act한 NeRF 기반의 트리플레인 분해를 적용하여 동적 머리 기하학을 더 정확하고 노이즈가 적은 방식으로 표현한다.
• 크로스 어텐션을 사용하여 음성 특징을 공간 영역에 정렬함으로써, 암묵적인 MLP 기반 융합에 의존하지 않고도 음성 주도의 국소 운동을 명시적으로 모델링하는 영역 주의 모듈을 제안한다.
• 복잡한 머리 자세 변환을 공간 좌표로 매핑하는 적응형 자세 인코딩을 설계하여, 몸-NeRF가 자세에 따라 달라지는 외관을 학습하는 데 있어 단순화한다.
• 희소 특징 그리드와 어텐션 기반 조건 주입을 조합하여 학습 효율성을 최적화함으로써, 큰 크기의 느린 MLP에 대한 의존도를 줄인다.
• 최소한의 파라미터를 갖춘 경량 아키텍처를 활용하여 실시간 추론을 가능하게 하면서도 고해상도 렌더링 품질을 유지한다.

실험 결과

연구 질문

• RQ1 NeRF 기반 대화형 포트레이트에서 공간 영역 인지의 명시적 모델링이 음성 주도의 얼굴 운동 합성에 어떤 영향을 미치는가?
• RQ2 특징 기반의 암묵적 MLP 기반 융합 대비 영역 인지 어텐션 메커니즘이 입술 동기화 정확도와 시각 품질 측면에서 어떻게 비교되는가?
• RQ3 트리플레인 해시 표현이 동적 머리 모델링에서 해시 충돌을 얼마나 줄이고, 수렴 및 재구성 품질을 향상시키는가?
• RQ4 작은 크기의 적응형 자세 인코딩 메커니즘이 복잡한 감독 없이도 머리와 몸의 운동을 효과적으로 분리할 수 있는가?
• RQ5 영역 인지 표현과 어텐션의 조합이 더 빠른 수렴과 실시간 추론을 가능하게 하며 최신 기술 수준의 성능을 유지하는가?

주요 결과

• ER-NeRF는 비교된 모든 방법 중에서 입술 동기화 정확도와 영상 현실감에 대해 가장 높은 평균 관점 점수(MOS)를 기록했으며, SynObama와 같은 대규모 모델조차도 뛰어넘었다.
• 제안된 트리플레인 해시 표현은 기준 MLP 및 iNGP 기반 방법 대비 PSNR를 1.03–1.14 포인트 향상시키고, LPIPS를 0.071–0.073 감소시켰다.
• 채널 기반 어텐션을 사용한 영역 주의 모듈은 LMD(2.740)와 Sync(5.708) 점수에서 최고 성능을 기록했으며, 특징 기반 어텐션 및 연결 기반 베이스라인에 비해 뚜렷이 뛰어났다.
• 최신 기술 수준의 방법보다 학습 시간을 반으로 줄이고 파라미터 수도 줄였음에도 불구하고, ER-NeRF는 기존 방법보다 더 나은 이미지 품질과 입술 동기화 성능을 달성했다.
• 외부 범위의 머리 자세에서도 ER-NeRF는 높은 구조 정확도를 유지하며, 훈련 중에 볼 수 없었던 큰 회전 각도에 대해서도 강건함을 입증했다.
• 작은 아키텍처를 통해 실시간 추론을 구현하여, 가상 아바타 및 비디오 회의와 같은 실용적 응용 분야에 적합하다.