[論文レビュー] K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

Sara Fridovich-Keil, Giacomo Meanti+3 more|arXiv (Cornell University)|Jan 24, 2023

Advanced Vision and Imaging被引用数 7

ひとこと要約

K-Planesは、d次元のシーンを$\binom{d}{2}$個の2次元平面に分解する白ボックスで明示的な放射場モデルを導入し、静的・動的・可変アピアランスのシーンを効率的かつ解釈可能に表現することを可能にする。4Dグリッドと比較して1000倍のメモリ圧縮を達成し、カスタムCUDAカーネルを一切使用せず、PyTorchのみで高速な最適化が可能である。

ABSTRACT

We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation. For video results and code, please see https://sarafridov.github.io/K-Planes.

研究の動機と目的

• 4D放射場表現における次元の呪いを解消するため、コンactで明示的なモデルを導入すること。
• 統一されたフレームワーク内で静的（3D）、動的（4D）、可変アピアランスのシーンを滑らかにモデル化できること。
• ブラックボックスなMLPベースの放射場の代替として、解釈可能で白ボックスな選択肢を提供し、優れた性能と低メモリ使用を実現すること。
• 時間的滑らかさやマルチスケール空間的構造といった次元固有の事前知識を、明示的な平面的分解によって実現すること。
• カスタムCUDAカーネルを一切使用せず、標準的なPyTorchでの最適化により、高速な学習と推論を実現し、一般ハードウェア上での実用的導入を可能にすること。

提案手法

• d次元のシーンを$\binom{d}{2}$個の2次元平面に分解し、各平面が次元のペアを表す。これにより、任意の次元数への自然な拡張が可能である。
• 特徴量は単に加算するのではなく乗算することで、空間的構造と外観構造のより良い分離が可能になる。
• 学習済みの色基底を用いた線形特徴デコーダーにより、視点依存色を復元し、非線形MLPの必要性を排除しながらも、高い再構成品質を維持する。
• 分解により、静的（空間的）および動的（時空間的）成分が自然に分離され、解釈可能なシーン解析と事前知識の適用が可能になる。
• グローバル外観コードを用いて、視点間での外観の変化を処理し、幾何学的形状を変更せずに外観の補間が可能になる。
• 最適化は標準的なPyTorchを用いてエンドツーエンドで実行され、カスタムCUDAカーネルを一切使用せず、高速な収束を達成する。

Figure 2 : Method overview. (a) Our $k$ -planes representation factorizes 4D dynamic volumes into six planes, three for space and three for spatiotemporal variations. To obtain the value of a 4D point $\textbf{q}=(x,y,z,t)$ , we first project the point into each plane, in which we (b) do multiscale

実験結果

リサーチクエスチョン

• RQ1 d次元空間の平面的要因分解は、静的・動的・可変アピアランスのシーンにおいて、効率的で解釈可能かつスケーラブルな放射場モデリングを可能にするか？
• RQ2 特徴量を加算するのではなく乗算することで、放射場における幾何学的構造と外観の分離にどのような影響を与えるか？
• RQ3 学習済みの色基底を用いた線形デコーダーは、非線形MLPデコーダーと比較して、どの程度の性能を発揮できるか？
• RQ4 明示的で白ボックスなモデルは、ブラックボックスなMLPベースのモデルと同等の再構成忠実度を達成しつつ、次元固有の事前知識を提供できるか？
• RQ5 最先端の暗黙的およびハイブリッド放射場手法と比較して、K-Planesはメモリ効率、最適化速度、再構成品質の点でどの程度優れているか？

主な発見

• K-Planesは、4Dグリッドと比較して1000倍の圧縮を達成し、300 GB以上を要する4Dボリュームを200 MBで表現可能である。
• 合成および実世界の静的・動的シーン、特に挑戦的な動画シーケンスにおいて、競争力あるか、最先端の再構成忠実度を達成している。
• 学習および推論速度は、従来の暗黙的モデルと比較して1000倍以上高速であり、同時に発表されたハイブリッドモデルと同等の性能を示している。これは、純粋なPyTorchとカスタムCUDAカーネルの使用なしに達成された。
• 平面的要因分解により、静的および動的成分の自然な分解が可能であり、時間平面は動く腕のような動きを明確に示している。
• 32次元のコードを用いた外観補間により、幾何学的形状を変更せずにトレヴィ Fountainのようなシーンで現実的な昼/夜の遷移が可能である。
• 静的シーン、動的動画、可変外観の多様なタスクにおいて、高い性能を維持しており、統一的で明示的な放射場フレームワークとしての多様性と頑健性を示している。

Figure 3 : Addition versus Hadamard product. Elementwise addition of plane features (left) compared to multiplication (right), in a triplane example. A single entry in each plane is positive and the rest are zero, selecting a single 3D point by multiplication but producing intersecting lines by addi