[論文レビュー] Factor Fields: A Unified Framework for Neural Fields and Beyond

Anpei Chen, Zexiang Xu+4 more|arXiv (Cornell University)|Feb 2, 2023

Optical measurement and interference techniques被引用数 16

ひとこと要約

Factor Fields は、信号を複数の座標変換要因と射影で因数分解することによりニューラルフィールド表現を統合し、Dictionary Field (DiF) のような新しいモデルを可能にします。DiF は精度、コンパクトさ、訓練速度を改善し、信号間の一般化をサポートします。

ABSTRACT

We present Factor Fields, a novel framework for modeling and representing signals. Factor Fields decomposes a signal into a product of factors, each represented by a classical or neural field representation which operates on transformed input coordinates. This decomposition results in a unified framework that accommodates several recent signal representations including NeRF, Plenoxels, EG3D, Instant-NGP, and TensoRF. Additionally, our framework allows for the creation of powerful new signal representations, such as the "Dictionary Field" (DiF) which is a second contribution of this paper. Our experiments show that DiF leads to improvements in approximation quality, compactness, and training time when compared to previous fast reconstruction methods. Experimentally, our representation achieves better image approximation quality on 2D image regression tasks, higher geometric quality when reconstructing 3D signed distance fields, and higher compactness for radiance field reconstruction tasks. Furthermore, DiF enables generalization to unseen images/3D scenes by sharing bases across signals during training which greatly benefits use cases such as image regression from sparse observations and few-shot radiance field reconstruction.

研究の動機と目的

• 多次元信号のニューラルフィールド表現のための統一された数学的フレームワークを動機づける。
• Factor Fields 内の二因子分解（グローバル基底 + ローカル係数）として Dictionary Field (DiF) を導入する。
• 信号間で基底を共有することが一般化を改善し、few-shot 再構成を可能にすることを示す。
• DiF が従来の高速再構成法と比較して精度、コンパクトさ、訓練効率の向上を達成することを示す。

提案手法

• Factor Fields を提案する：信号を N 個の因子場に分解し、それぞれ f_i が独自の座標変換 γ_i を持ち、積として生成され、それを射影 P によってターゲット信号へ写像する。
• DiF を、係数場 c(x) と基底場 b(x) の二因子の例として表現し、Eq. (3) を用いて Hadamard積を P を介して写像する。
• 因子の表現（多項式、MLP、格子、ベクトル）と座標変換（正弦波、ノコギリ波、ハッシュ、直交）を多尺度の内容を捉えるために許容する。
• 複数の周波数で変換済み座標を結合して多尺度基底表現を取り入れ（PR）、学習可能な射影 P（線形または浅層MLP）を使用する。
• 任意の間接観測（例：輻射場レンダリング）は、Eq. (6) および標準的なレイ積分に従って体積レンンダリングを含めるように P を拡張することで対処される。
• 座標を正規化するために空間収縮を適用し、特徴量にドロップアウト様の疎正則化を用いて確率的勾配降下で訓練する。

Figure 4 : 2D Image Regression. This figure shows images represented using our DiF-Grid model. The respective image resolutions and numbers of model parameters are shown below each image. Moreover, we also report a comparison to Instant-NGP (first number) in terms of optimization time and PSNR metri

実験結果

リサーチクエスチョン

• RQ1 Factor Fields は既存のニューラルフィールド表現（例：NeRF、Instant-NGP、TensoRF）を単一のフレームワークの下で再現・統合できるか？
• RQ2 Dictionary Field (DiF) は、2Dおよび3Dタスク全体で従来法と比較して、精度、コンパクトさ、訓練効率において優れるか？
• RQ3 複数の信号で基底を共有することは、未知の画像や3Dシーンへの一般化、特にfew-shotまたは疎観測の状況で可能か？
• RQ4 因子の選択、座標変換、射影の選択が、再構成タスク全体の性能と効率にどう影響するか？

主な発見

• DiF は従来の高速再構成法と比較して近似品質、コンパクトさ、訓練時間を改善する。
• Instant-NGP と比較して、DiF は再構成とレンダリング品質が向上する一方で、SDF および輻射場タスクの総モデルパラメータ数を半減させる。
• DiF は評価されたタスク全体でより高い画像回帰品質、より良い3D SDFジオメトリ再構成、より大きな輻射場のコンパクトさを提供する。
• 共有基底を用いた信号横断トレーニングは、未知の画像/3Dシーンへの一般化を可能にし、疎観測からの再構成を改善する。
• Factor Fields は多くの既存モデルを特殊ケースとして表現でき、複数の因子 (N>1) を用いると容量と性能が向上する。
• DiF は信号間基底学習を可能にし、一般化の利点と効率的な few-shot 再構成を提供する。

Figure 6 : Radiance Field Reconstruction . We evaluate our DiF using NeRF-Synthetic and Tanks and Temples datasets, our method is able to reconstruct high-quality surface details.