[论文解读] K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

Sara Fridovich-Keil, Giacomo Meanti+3 more|arXiv (Cornell University)|Jan 24, 2023

Advanced Vision and Imaging被引用 7

一句话总结

K-Planes 引入了一种白盒、显式的辐射场模型，通过将 d 维场景分解为 $\binom{d}{2}$ 个二维平面，实现了对静态、动态及可变外观场景的高效且可解释的表示。该方法在 4D 网格基础上实现了 1000 倍的内存压缩，同时仅使用 PyTorch 即可实现快速优化，无需自定义 CUDA 内核，重建质量达到当前最优水平。

ABSTRACT

We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation. For video results and code, please see https://sarafridov.github.io/K-Planes.

研究动机与目标

• 为解决 4D 辐射场表示中的维度灾难问题，提出一种紧凑且显式的模型。
• 在统一框架内无缝建模静态（3D）、动态（4D）以及可变外观的场景。
• 提供一种可解释的白盒替代方案，以替代黑盒 MLP 基辐射场模型，在保持高性能的同时实现低内存占用。
• 通过显式的平面分解，支持特定维度的先验知识，如时间平滑性与多分辨率空间结构。
• 在不使用自定义 CUDA 内核的前提下，实现快速训练与推理，支持在标准硬件上的实际部署。

提出的方法

• 该模型将 d 维场景分解为 $\binom{d}{2}$ 个二维平面，每个平面代表一对维度，从而可自然扩展至任意维度。
• 通过将平面特征相乘而非相加，实现对空间与外观结构更优的解耦。
• 采用带学习颜色基的线性特征解码器来解码视角相关的颜色，替代非线性 MLP，同时保持高重建质量。
• 该分解天然分离了静态（空间）与动态（时空）分量，支持可解释的场景分析与先验建模。
• 通过全局外观码处理跨视角的可变外观，实现场景几何不变条件下的外观插值。
• 使用标准 PyTorch 进行端到端优化，实现快速收敛，无需自定义 CUDA 内核。

Figure 2 : Method overview. (a) Our $k$ -planes representation factorizes 4D dynamic volumes into six planes, three for space and three for spatiotemporal variations. To obtain the value of a 4D point $\textbf{q}=(x,y,z,t)$ , we first project the point into each plane, in which we (b) do multiscale

实验结果

研究问题

• RQ1 d 维空间的平面分解能否在静态、动态及可变外观场景中实现高效、可解释且可扩展的辐射场建模？
• RQ2 与相加相比，平面特征相乘在多大程度上改善了辐射场中几何与外观的解耦？
• RQ3 线性解码器配合学习颜色基在多大程度上可达到非线性 MLP 解码器的重建性能？
• RQ4 显式白盒模型能否在保持黑盒 MLP 基模型竞争力的同时，实现维度特定的先验建模？
• RQ5 与当前最优的隐式及混合辐射场方法相比，K-Planes 在内存效率、优化速度与重建质量方面表现如何？

主要发现

• K-Planes 相较于完整 4D 网格实现了 1000 倍的压缩，仅用 200 MB 即可表示原本需超过 300 GB 直接网格表示的 4D 体积。
• 该模型在合成与真实世界中的静态与动态场景（包括具有挑战性的视频序列）中均实现了具有竞争力或当前最优的重建保真度。
• 尽管仅使用纯 PyTorch 且无自定义 CUDA 内核，训练与推理速度仍比以往隐式模型快数个数量级，且与同期混合模型相当。
• 平面分解自然实现了静态与动态分量的分解，时间平面能清晰突出运动特征，如视频中移动的手臂。
• 通过 32 维代码实现外观插值，可在不改变几何结构的前提下实现如特雷维喷泉场景的逼真昼夜过渡。
• 该模型在多样化任务中（静态场景、动态视频、可变外观）均保持高性能，充分展现了其作为统一显式辐射场框架的多功能性与鲁棒性。

Figure 3 : Addition versus Hadamard product. Elementwise addition of plane features (left) compared to multiplication (right), in a triplane example. A single entry in each plane is positive and the rest are zero, selecting a single 3D point by multiplication but producing intersecting lines by addi