[논문 리뷰] Streaming Radiance Fields for 3D Video Synthesis

Lingzhi Li, Zhen Shen외 3명|arXiv (Cornell University)|2022. 10. 26.

Advanced Vision and Imaging인용 수 26

한 줄 요약

StreamRF는 명시적 보셀 격자에서 동적 장면에 대해 프레임별 점진적 튜닝 접근법을 제시하여 온라인 3D 비디오 합성을 가능하게 하고 빠른 학습 및 경쟁력 있는 렌더링 품질을 제공하며 차이 기반 압축으로 저장 공간을 줄입니다.

ABSTRACT

We present an explicit-grid based method for efficiently reconstructing streaming radiance fields for novel view synthesis of real world dynamic scenes. Instead of training a single model that combines all the frames, we formulate the dynamic modeling problem with an incremental learning paradigm in which per-frame model difference is trained to complement the adaption of a base model on the current frame. By exploiting the simple yet effective tuning strategy with narrow bands, the proposed method realizes a feasible framework for handling video sequences on-the-fly with high training efficiency. The storage overhead induced by using explicit grid representations can be significantly reduced through the use of model difference based compression. We also introduce an efficient strategy to further accelerate model optimization for each frame. Experiments on challenging video sequences demonstrate that our approach is capable of achieving a training speed of 15 seconds per-frame with competitive rendering quality, which attains $1000 imes$ speedup over the state-of-the-art implicit methods. Code is available at https://github.com/AlgoHunt/StreamRF.

연구 동기 및 목표

• 동적인 장면의 온라인 3D 비디오 합성을 위해 비온라인, 시퀀스별 학습이 아닌 효율적 학습 동기를 부여한다.
• 기본 격자를 프레임별 모델 차이로 업데이트하는 점진 학습 프레임워크를 개발한다.
• 시간적 연속성을 활용하고 학습 부담을 줄이기 위해 협대역 튜닝을 활용한다.
• 품질을 보존하면서 프레임별 저장 공간을 크게 줄이기 위해 차이 기반 압축을 도입한다.
• 최적화를 가속화하기 위해 파일럿 모델의 가이드를 통해 학습 효율을 향상시킨다.

제안 방법

• 방사장(field) 표현으로 명시적 희소 보셀 격자를 사용한다.
• 첫 프레임에서 기본 격자를 학습한 뒤 프레임 간 모델 차이를 학습하고 저장하여 이후 프레임을 업데이트한다(V^i = V^{i-1} + δ_i).
• 표면 인접 영역에 업데이트를 집중하는 협대역 튜닝 전략을 도입하여 변화는 포착하되 대부분의 보셀을 고정한다.
• 마스크를 통해 보셀 추가, 제거, 수정 추적으로 차이 기반 압축을 적용하여 프레임당 저장 공간을 대폭 감소시킨다.
• 이전 프레임의 격자를 다운샘플링하여 생성된 파일럿 모델이 전체 규모 최적화를 안내하고 학습을 안정시키도록 한다.
• 선택적: 작은 파일럿 모델이 전체 격자를 수정해야 할 지점을 안내하는 커리큘럼식 학습 흐름을 사용한다.

실험 결과

연구 질문

• RQ1 명시적-격자 파동장(Radiance Field)의 프레임별 점진적 적응이 온라인(즉시) 학습을 가능하게 하면서도 동적 장면에 대해 경쟁력 있는 렌더링 품질을 달성할 수 있는가?
• RQ2 차이 기반 압축으로 렌더링 품질을 희생하지 않으면서 프레임당 저장 공간을 얼마나 절감할 수 있는가?
• RQ3 시간적 연속성을 활용하는 협대역 튜닝이 스트리밍 방사장에 대해 학습 속도와 안정성을 개선하는가?
• RQ4 파일럿 모델 가이드가 프레임별 업데이트 중 최적화를 더 빠르게 진행하고 잡음을 줄일 수 있는가?

주요 결과

• 프레임당 학습 속도: 튜닝 약 15초, 프레임당 렌더링 1k 해상도에서 120 ms.
• 최신의 암시적 동적 방법 대비 상당한 속도 개선(N3DV 대비 학습 시간 약 1000배 빠름).
• 저장 공간 감소: 차이 기반 압축으로 프레임당 저장 공간을 대략 수 MB 수준으로 축소(평균 약 5.7 MB, 원래 약 1015 MB에서).
• 협대역 튜닝은 수렴 및 렌더링 안정성을 개선하여 많은 보셀 업데이트 없이도 움직임을 신뢰성 있게 처리하게 한다.
• 파일럿 모델 가이드는 指導 없이 전체 격자를 학습하는 것보다 아티팩트(예: 깜박임, 흐림)를 줄이고 해상도를 개선한다.
• 경쟁력 있는 렌더링 품질을 달성하면서 저장 공간은 낮게 유지하고 학습 효율은 높인 기존 명시적 격자 및 여러 암시적 방법 대비 성능이 우수하다.