[논문 리뷰] K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

Sara Fridovich-Keil, Giacomo Meanti외 3명|arXiv (Cornell University)|2023. 01. 24.

Advanced Vision and Imaging인용 수 7

한 줄 요약

K-Planes는 공간, 시간, 외관을 모두 고려한 백박스가 아닌 명시적 렌디언스 필드 모델을 도입하여 d차원 장면을 $\binom{d}{2}$개의 2차원 평면으로 분해함으로써 정적, 동적, 외관이 변하는 장면을 효율적이고 해석 가능한 방식으로 표현한다. 이는 4D 격자 대비 1000배 메모리 압축을 달성하고, 커스텀 CUDA 커널 없이 오직 PyTorch만으로도 빠른 최적화를 가능하게 하여 최신 기술 수준의 재구성 정밀도를 확보한다.

ABSTRACT

We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation. For video results and code, please see https://sarafridov.github.io/K-Planes.

연구 동기 및 목표

• 4D 렌디언스 필드 표현에서 차원의 고통 문제를 해결하기 위해 압축적이고 명시적인 모델을 도입한다.
• 통합 프레임워크 내에서 정적(3D), 동적(4D), 외관이 변하는 장면을 원활하게 모델링할 수 있도록 한다.
• 강력한 성능과 낮은 메모리 사용량을 갖추고도 블랙박스 기반의 MLP 기반 렌디언스 필드에 대한 해석 가능한 백박스 대안을 제공한다.
• 명시적 평면 분해를 통해 시간적 스무딩 및 다중 해상도 공간적 구조와 같은 차원별 사전 지식을 구현한다.
• 커스텀 CUDA 커널 없이도 표준 PyTorch를 사용해 빠른 학습과 추론을 달성함으로써 일반 하드웨어에서도 실용적인 구현을 가능하게 한다.

제안 방법

• 모델은 d차원 장면을 $\binom{d}{2}$개의 2차원 평면으로 분해하여 임의의 차원으로의 자연스러운 확장이 가능하도록 한다.
• 특징들은 덧셈이 아닌 곱셈으로 조합되며, 이는 공간적 및 외관적 구조의 더 나은 분리에 기여한다.
• 학습된 색상 기저를 가진 선형 특징 디코더가 시야 의존적 색상을 복원함으로써 비선형 MLP의 필요성을 제거하면서도 높은 재구성 품질을 유지한다.
• 분해 과정은 정적(공간적) 및 동적(시공간적) 구성요소를 자연스럽게 분리하여 해석 가능한 장면 분석과 사전 지식 적용을 가능하게 한다.
• 전역 외관 코드를 사용해 다양한 시점 간의 외관 변화를 처리함으로써 기하학적 구조를 변경하지 않고도 외관 보간이 가능하다.
• 표준 PyTorch를 사용해 엔드 투 엔드 최적화를 수행함으로써 커스텀 CUDA 커널 없이도 빠른 수렴을 달성한다.

Figure 2 : Method overview. (a) Our $k$ -planes representation factorizes 4D dynamic volumes into six planes, three for space and three for spatiotemporal variations. To obtain the value of a 4D point $\textbf{q}=(x,y,z,t)$ , we first project the point into each plane, in which we (b) do multiscale

실험 결과

연구 질문

• RQ1 d차원 공간의 평면 분해가 정적, 동적, 외관이 변하는 장면 전반에 걸쳐 효율적이고 해석 가능하며 확장 가능한 렌디언스 필드 모델링을 가능하게 할 수 있는가?
• RQ2 특징을 덧셈 대신 곱셈으로 조합할 경우 렌디언스 필드에서 기하학적 구조와 외관의 분리에 어떤 영향을 미치는가?
• RQ3 학습된 색상 기저를 가진 선형 디코더가 렌디언스 필드 재구성에서 비선형 MLP 디코더의 성능을 어느 정도 충족할 수 있는가?
• RQ4 명시적이고 백박스인 모델이 블랙박스 기반의 MLP 기반 모델과 경쟁 가능한 재구성 정밀도를 확보하면서도 차원별 사전 지식을 제공할 수 있는가?
• RQ5 K-Planes는 최신의 암시적 및 하이브리드 렌디언스 필드 방법에 비해 메모리 효율성, 최적화 속도, 재구성 품질 측면에서 어떻게 비교되는가?

주요 결과

• K-Planes는 전체 4D 격자 대비 1000배 메모리 압축을 달성하여, 직접 격자 표현으로는 300GB 이상이 필요한 4D 볼륨을 오직 200MB로 표현한다.
• 합성 및 실제 세계의 정적 및 동적 장면, 어려운 영상 시퀀스를 포함해 경쟁적 또는 최신 기술 수준의 재구성 정밀도를 확보한다.
• 학습 및 추론 속도가 이전의 암시적 모델보다 수개월에서 수십 배 빠르며, 동시 하이브리드 모델과 비슷한 속도를 기록함에도 불구하고 오직 순수한 PyTorch와 커스텀 CUDA 커널 없이도 구현된다.
• 평면 분해 덕분에 정적 및 동적 구성요소의 자연스러운 분리가 가능하며, 시간 평면은 영상에서 움직이는 팔과 같은 운동을 명확히 드러낸다.
• 32차원 코드를 통해 외관 보간이 가능하여 기하학적 구조를 변경하지 않고도 트레비 분수와 같은 장면에서 실제적인 일출/일몰 전환을 구현할 수 있다.
• 정적 장면, 동적 영상, 외관 변화가 있는 장면에 걸쳐 높은 성능을 유지하며, 통합적이고 명시적인 렌디언스 필드 프레임워크로서의 다재다능함과 강건성을 입증한다.

Figure 3 : Addition versus Hadamard product. Elementwise addition of plane features (left) compared to multiplication (right), in a triplane example. A single entry in each plane is positive and the rest are zero, selecting a single 3D point by multiplication but producing intersecting lines by addi