[論文レビュー] Polynomial Neural Fields for Subband Decomposition and Manipulation

Guandao Yang, Sagie Benaim+6 more|arXiv (Cornell University)|Feb 9, 2023

Model Reduction and Neural Networks参考文献 70被引用数 8

ひとこと要約

本論文は、解釈可能なサブバンド分解と操作を可能にするニューラル場フレームワークである Polynomial Neural Fields (PNFs) を提案する。周波数帯を局在化し上限/下限を制御できる Fourier PNFs を含み、テクスチャ転送やスケール空間タスクを実現しつつ、最先端の結果を達成する。

ABSTRACT

Neural fields have emerged as a new paradigm for representing signals, thanks to their ability to do it compactly while being easy to optimize. In most applications, however, neural fields are treated like black boxes, which precludes many signal manipulation tasks. In this paper, we propose a new class of neural fields called polynomial neural fields (PNFs). The key advantage of a PNF is that it can represent a signal as a composition of a number of manipulable and interpretable components without losing the merits of neural fields representation. We develop a general theoretical framework to analyze and design PNFs. We use this framework to design Fourier PNFs, which match state-of-the-art performance in signal representation tasks that use neural fields. In addition, we empirically demonstrate that Fourier PNFs enable signal manipulation applications such as texture transfer and scale-space interpolation. Code is available at https://github.com/stevenygd/PNF.

研究の動機と目的

• 解釈可能でサブバンド分解によって制御可能なニューラル場を設計する動機づけと設計。
• PNF の理論的枠組みを構築し、周波数サブバンド操作を可能にする基底（例：フーリエ）を特定する。
• 指定された周波数サブバンドへ出力を局在化し、方向制御を持つ Fourier PNF を作成する。
• Fourier PNFs が画像、3D SDF、放射場で競争力のあるまたはそれを上回る信号表現性能を達成することを示す。
• テクスチャ転送やスケール空間補間といった下流の操作タスクを PNF サブバンドを用いて実演する。

提案手法

• 多変数多項式の結果を基底 B を用いた入力エンコード gamma で構成する PNF を定義する。
• 基底が乗法に閉じていれば、PNF の出力は基底関数の有限線形結合で表現できることを証明する。
• PNF の和と積に対して予測可能な相互作用を実現するために、PNF 制御可能なサブバンド集合を導入する。
• 基底を制御可能なサブバンドで並べてフーリエ PNFs に特化し、サブバンド制限PNFを集約するネットワークアーキテクチャを導出する。
• 各サブバンド制限PNF が最終出力に寄与するアンサンブル Fourier PNF を提案し、要素分解を通じてパラメータ増大を抑制する。
• 2D 信号に対する実用的なタイル戦略（円形/矩形タイル）を提供し、方向性ベースのサブバンドを議論する。
• 画像、3D SDF、 NeRF風タスクに対して、訓練/設定を実証し BACON、SIREN、Random Fourier Features と比較する。

Figure 3: Illustration of Fourier PNF architecture. Fourier PNF is an ensemble model. The final result is summed over a series of PNFs $F_{j}$ , whose structure is shown on the left side of the figure.

実験結果

リサーチクエスチョン

• RQ1 PNFs は expressivity を損なうことなく、解釈可能でサブバンドベースの出力制御を提供できるか。
• RQ2 周波数領域のサブバンドを PNFs 内で設計・操作することで、正確なテクスチャとスケール空間操作を可能にできるか。
• RQ3 Fourier PNFs は前処理方法（例：BACON）と比較して細かなサブバンド制御を提供しつつ、最先端または競争力のある性能を達成するか。
• RQ4 サブバンド分解された PNFs はテクスチャ転送やスケール空間補間といった下流タスクを効果的にサポートできるか。
• RQ5 PNFs にサブバンド制御を課す際の実用的なトレードオフ（例：メモリ使用量）はどのようになるか。

主な発見

• Fourier PNFs は画像、3D 形状、放射場における信号表現で最先端と同等またはそれを超える性能を示す。
• PNFs は周波数領域でのサブバンドの高精度な局在化を可能にし、出力は下限・上限帯域と方位で制約される。
• サブバンド制限を持つコンポーネントを含むアンサンブル Fourier PNF アーキテクチャは、効果的なサブバンド分解と操作を達成する。
• PNFs は特定の周波数サブバンドを狙うことで、テクスチャ転送とスケール空間補間の能力を示す。
• 一部のタスク（例：3D SDF fitting）では反復回数が速く収束し、最適化ステップ数が少ないため壁時計時間も競争力を持つ場合がある。
• BACON および SIREN と比較して、PNFs はパラメータ数が同程度で品質が同等またはそれを上回る。

Figure 5: LHS: Convergence time in terms of number of steps/iterations for the Thai Statue model [ 64 ] . The x-axis shows the number of steps (K) and the y-axis shows the validation Chamfer Distance ( $\times 10^{6}$ ). RHS: Qualitative comparison for the Thai Statue model [ 64 ] .