[논문 리뷰] Neural Radiance Flow for 4D View Synthesis and Video Processing

Yilun Du, Yinan Zhang외 3명|arXiv (Cornell University)|2020. 12. 17.

Advanced Vision and Imaging참고 문헌 78인용 수 11

한 줄 요약

NeRFlow는 빛의 방향(θ,φ)을 포함한 공간 위치(x,y,z)와 시간(t)을 조합한 6차원 은닉 신경 표현을 사용하여 희소한 시야, 즉 단일 카메라 영상에서 4차원 공간-시간 시나리오의 역동적 특성을 함께 최적화하여 사진 수준의 4D 뷰 합성을 위한 신경 은닉 표현을 제안한다. 이는 뷰 합성에서 최신 기술 수준의 성능을 달성하며, 학습된 역동적 시나리오 사전 지식을 활용해 지도 학습 없이도 영상 초해상도 및 노이즈 제거를 가능하게 한다.

ABSTRACT

We present a method, Neural Radiance Flow (NeRFlow),to learn a 4D spatial-temporal representation of a dynamic scene from a set of RGB images. Key to our approach is the use of a neural implicit representation that learns to capture the 3D occupancy, radiance, and dynamics of the scene. By enforcing consistency across different modalities, our representation enables multi-view rendering in diverse dynamic scenes, including water pouring, robotic interaction, and real images, outperforming state-of-the-art methods for spatial-temporal view synthesis. Our approach works even when inputs images are captured with only one camera. We further demonstrate that the learned representation can serve as an implicit scene prior, enabling video processing tasks such as image super-resolution and de-noising without any additional supervision.

연구 동기 및 목표

• 제한된 다중 시야 또는 단일 카메라 영상 관측에서 일관된 4차원 공간-시간 시나리오 표현을 학습하는 것.
• 공연성, 밀도, 운동 간의 일관성을 강제하여 희소한 시공간 관측에서의 역동적 시나리오 재구성 문제를 해결하는 것.
• 차폐 및 미세한 운동 세부 정보가 있는 복잡한 시나리오에서 공간과 시간에 걸쳐 고해상도의 새로운 뷰 합성을 가능하게 하는 것.
• 학습된 표현이 초해상도 및 노이즈 제거와 같은 비지도 영상 복원 작업에 효과적인 사전 지식으로 기능할 수 있음을 보여주는 것.
• 다수의 카메라와 정적 시나리오를 요구하는 이전의 NeRF 기반 방법의 한계를 극복하여 최소한의 입력으로도 역동적 시나리오 모델링을 가능하게 하는 것.

제안 방법

• NeRFlow는 공간 위치(x,y,z), 시간(t), 그리고 시야 방향(θ,φ)을 조합한 6차원 은닉 신경 표현을 사용하여 복사 및 밀도를 모델링한다.
• 시나리오의 역동성을 모델링하고 희소 관측 간의 시간적 대응을 강제하기 위해 4차원 플로우 필드(x,y,z,t)를 도입한다.
• 기하학적 볼륨 렲영을 통해 미분 가능하게 복사 및 플로우 필드를 함께 최적화함으로써 기울기 역전파를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 시간적 일관성을 확보하기 위해 시간에 걸쳐 공연성, 밀도, 운동 간의 정렬을 통해 프레임 간 정보 전파를 가능하게 한다.
• 알려진 카메라 파rameters를 가진 다중 시야 및 단일 카메라 영상 입력을 활용하여 3차원 기하학 및 운동을 재구성한다.
• 학습된 복사 필드는 동적 시나리오 사전 지식으로 기능하여 추가적인 지도 학습 없이도 영상 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소수의 카메라 또는 단일 단일 카메라 영상에서만 신경 은닉 표현이 일관된 4차원 시나리오 역동성을 학습할 수 있는가?
• RQ2 희소 관측 조건에서 공연성, 밀도, 운동 간의 시간적 일관성을 어떻게 강제하여 견고한 4D 뷰 합성을 가능하게 할 수 있는가?
• RQ3 학습된 4차원 시나리오 표현이 초해상도 및 노이즈 제거와 같은 비지도 영상 복원 작업에 효과적인 사전 지식으로 기능할 수 있는가?
• RQ4 제한된 지도 학습 조건에서 NeRFlow는 뷰 합성 및 영상 복원에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 복잡한 실제 시나리오에서 기하학적 모호성과 동적 영역을 다루는 데 있어 이 방법의 한계는 무엇인가?

주요 결과

• NeRFlow는 유체 역학(부어내림), 장거리 로봇 운동, 투명 물체를 포함한 도전적인 시나리오에서 4D 뷰 합성에서 최신 기술 수준의 성능을 달성한다.
• 부어내림 데이터셋에서 NeRFlow는 PSNR 28.46, LPIPS 0.3556, MSE 0.0014를 기록하며, Non-Local Means 및 Blind Video Prior를 모두 능가한다.
• 실제 단일 카메라 영상 Ayush에서 NeRFlow는 PSNR 27.71, LPIPS 0.1372를 기록하여, 감각적 품질과 재구성 정확도에서 기준 모델들을 크게 능가한다.
• 초해상도 작업에서 NeRFlow는 PSNR 30.67, LPIPS 0.0903을 기록하며, 이중선형 보간법 및 Blind Video Prior보다 감각적 품질에서 뛰어나다.
• 단일 단일 카메라 영상만으로도 고품질의 4차원 시나리오 표현을 학습하여 뷰 합성 및 영상 복원에 활용할 수 있음을 입증한다.
• 학습된 복사 필드는 효과적인 동적 시나리오 사전 지식으로 기능하여, 전통적 및 내부 학습 방법 대비 뛰어난 성능을 보이는 비지도 영상 복원을 가능하게 한다.