[論文レビュー] PREF: Phasorial Embedding Fields for Compact Neural Representations

Binbin Huang, Xinhao Yan+3 more|arXiv (Cornell University)|May 26, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

PREFは、2次元平面に周波数を均等に分散させ、1次元軸に拡張するドーナツ状の3次元位相ベクトルボリュームを用いたコン actで効率的な周波数ベースのニューラル表現を提案する。このアプローチにより、ハイブリッドFFTと局所的補間法を組み合わせた方法でフーリエマッピングを高速化し、従来の周波数ベースおよびハイブリッド表現と比較して、顕著に少ないメモリ使用量と向上したロバスト性を実現しながら、2次元画像の一般化、3次元SDF回帰、5次元ニューラルレンダリングフィールド再構成において最先端の性能を達成した。

ABSTRACT

We present an efficient frequency-based neural representation termed PREF: a shallow MLP augmented with a phasor volume that covers significant border spectra than previous Fourier feature mapping or Positional Encoding. At the core is our compact 3D phasor volume where frequencies distribute uniformly along a 2D plane and dilate along a 1D axis. To this end, we develop a tailored and efficient Fourier transform that combines both Fast Fourier transform and local interpolation to accelerate naïve Fourier mapping. We also introduce a Parsvel regularizer that stables frequency-based learning. In these ways, Our PREF reduces the costly MLP in the frequency-based representation, thereby significantly closing the efficiency gap between it and other hybrid representations, and improving its interpretability. Comprehensive experiments demonstrate that our PREF is able to capture high-frequency details while remaining compact and robust, including 2D image generalization, 3D signed distance function regression and 5D neural radiance field reconstruction.

研究の動機と目的

• 高周波数ディテールを捉えるために、周波数ベースのニューラル表現の非効率性と高いメモリコストを是正すること。
• 周波数符号化モデルにおける大規模で高コストなMLPへの依存度を低下させ、その能力をコンパクトな位相ベクトルボリュームに移行すること。
• 周波数成分の直接操作を可能にすることで、ニューラルフィールドの解釈可能性と制御可能性を向上させること。
• 周波数ベース表現とハイブリッド表現（例：密なグリッド、オクトリー）の間の性能と効率のギャップを埋めること。
• 全変動正則化と類似する新規なParsvel正則化子を用いて、周波数ベースモデルの学習を安定化させること。

提案手法

• 周波数を2次元平面に均等に分散させ、1次元軸に拡張する3次元位相ベクトルボリュームを提案し、全スペクトル帯域を効率的にカバーする。
• ナイーブなフーリエマッピングの高速化のため、高速フーリエ変換（FFT）と局所的補間を組み合わせたハイブリッドフーリエ変換を導入する。
• 位相層に特化したParsvel正則化子を設計し、周波数ベース学習の安定化を図る。これは全変動正則化と類似した性質を持つ。
• 従来の周波数符号化におけるブラックボックス的MLPを、浅いネットワークに置き換え、主な能力を位相ベクトルボリュームに移行させることで、解釈可能性を向上させる。
• コンパクトで構造化された周波数レイアウトを採用し、最小限のパrameter数で高周波数ディテールの回復を可能にする。
• 変換済み特徴量を事前に計算・保存することで、FFTによる追加のトレーニングコストを除き、高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 非一様な周波数分布を持つコンパクトな位相ベクトルボリュームは、標準的な均一なフーリエ符号化よりも高周波数ディテールの捉え方で優れているか？
• RQ2 周波数ベースのニューラル表現におけるフーリエマッピングの計算コストを、スペクトルカバレッジを損なわずに低減できるか？
• RQ3 位相ベクトルボリュームが、性能を維持または向上させつつMLPをどれだけ置き換えられるか？
• RQ4 位相層に特化した正則化子は、周波数ベースモデルにおける学習の安定性と一般化性能を向上させるか？
• RQ5 周波数成分の直接編集を可能にした場合、周波数ベース表現の解釈可能性はハイブリッド表現と比べてどの程度優れているか？

主な発見

• PREFは2次元画像一般化において最先端の性能を達成し、自然画像ではPSNR 24.113 ± 3.464、テキスト画像では28.329 ± 2.373を記録。PE、SIREN、NGPを上回った。
• 3次元符号付き距離関数（SDF）回帰では、PREFはわずか545 KBのメモリ使用量でPSNR 31.86を達成し、密なグリッドベースライン（31.02）をわずかに上回った。
• 5次元ニューラルレンダリングフィールド再構成において、PREFはNeRFやNGPと比較して、より少ないメモリ使用量と向上した視覚的忠実度を実現した。
• Parsvel正則化子により、周波数ベースモデルの学習が安定化し、多様なタスクにおいて一貫した収束性とロバスト性が得られた。
• 位相ベクトルボリュームにより、直接的かつ解釈可能なニューラルフィールドの編集（例：詳細度フィルタリング）が可能となり、ブラックボックス的MLPに比べて制御性が向上した。
• PREFは545 KBのメモリフットプリントを実現しながらも、競合するPE（1318 KB）やSIREN（777 KB）を大きく上回り、NGP（696 KB）に近い性能を示したが、一般化性能が優れていた。