[論文レビュー] HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion

Ziya Erkoç, Fangchang Ma+3 more|arXiv (Cornell University)|Mar 29, 2023

Model Reduction and Neural Networks被引用数 6

ひとこと要約

HyperDiffusionは、暗黙的ニューラルフィールドを符号化する最適化されたマルチレイヤーパーセプトロン（MLP）の重み空間上で直接動作する、画期的な拡散ベースの生成モデルを提案する。これにより、高精細で無条件の3次元形状および4次元変形アニメーションの合成が可能となる。最適化されたMLP重み上で変換器ベースの拡散モデルを訓練することで、ボクセルベースのベースラインと比較して、再現性と視覚的質の両面で最先端の結果を達成した。

ABSTRACT

Implicit neural fields, typically encoded by a multilayer perceptron (MLP) that maps from coordinates (e.g., xyz) to signals (e.g., signed distances), have shown remarkable promise as a high-fidelity and compact representation. However, the lack of a regular and explicit grid structure also makes it challenging to apply generative modeling directly on implicit neural fields in order to synthesize new data. To this end, we propose HyperDiffusion, a novel approach for unconditional generative modeling of implicit neural fields. HyperDiffusion operates directly on MLP weights and generates new neural implicit fields encoded by synthesized MLP parameters. Specifically, a collection of MLPs is first optimized to faithfully represent individual data samples. Subsequently, a diffusion process is trained in this MLP weight space to model the underlying distribution of neural implicit fields. HyperDiffusion enables diffusion modeling over a implicit, compact, and yet high-fidelity representation of complex signals across 3D shapes and 4D mesh animations within one single unified framework.

研究の動機と目的

• メッシュやボクセルのような明示的表現に依存せずに、暗黙的ニューラルフィールドの直接的な生成モデリングを可能にすること。
• 統一的かつ次元に依存しないフレームワークを用いて、高次元で複雑な3次元および4次元表面データを生成する課題に対処すること。
• 最適化されたニューラルフィールドMLPのコンactかつ低次元の重み空間における拡散モデリングの可能性を検討すること。
• 訓練済みMLPのパラメータのみを用いて、高精細で多様性に富み、時間的に一貫性のある3次元形状および4次元アニメーションの合成を達成すること。
• 重み空間における拡散が、品質と一般化性能の両面でボクセルベースの生成モデルを上回ることを実証すること。

提案手法

• まず、個々の3次元または4次元形状インスタンスに対してMLPを過学習させ、重み空間における高精細でコンパクトな表現を生成する。
• 最適化されたMLP重みおよびバイアスをフラット化し、拡散モデリングに適した潜在表現を形成する。
• 変換器ベースのアーキテクチャを、フラット化された重みベクトル上で直接拡散モデリングを実行するように訓練し、新たな妥当なMLPパラメータセットをノイズ除去・生成する学習を実現する。
• 生成されたMLP重みは標準的な推論によりニューラルフィールドに復元され、可視化および評価のための表面メッシュはMarching Cubesを用いて抽出される。
• 3次元および4次元データの両方に対して、アーキテクチャの変更なしに一貫して適用可能であり、次元に依存しない生成モデリングを示している。
• 拡散プロセスは重み空間上でエンドツーエンドに訓練され、自己符号化器ベースの潜在空間や大規模データセットにおける事前学習を必要としない。

実験結果

リサーチクエスチョン

• RQ1 最適化されたニューラルフィールドMLPの重み空間に、拡散モデリングを効果的に直接適用できるか？
• RQ2 メッシュやボクセルのような明示的幾何表現を一切用いずに、MLP重みのみを用いて、高精細な3次元形状および4次元アニメーションを統一されたフレームワークで生成できるか？
• RQ3 3次元および4次元表面生成において、重み空間における拡散とボクセルベースの拡散とを視覚的質および多様性の観点から比較すると、どちらが優れているか？
• RQ4 位置符号化や重み初期化といったアーキテクチャ的選択が、生成されたニューラルフィールドの品質に与える影響は何か？
• RQ5 モデルは、学習データのメモリ化やそれらの間の補間にとどまらず、学習済みデータとは見つからない新しい形状に対しても一般化可能か？

主な発見

• HyperDiffusionは3次元形状生成において最先端のパフォーマンスを達成し、視覚的品質指標（FPD）が3.49と、ボクセルベースのベースライン（4.01）を顕著に上回った。
• 4次元アニメーションシーケンス生成においても、HyperDiffusionはFPDが3.49であり、ボクセルベースラインの4.01を上回り、優れた視覚的品質を示した。
• 4次元生成において、MMD（分布距離）は15.5に低下し、COV（多様性）は45％に向上した。これは、ボクセルベースライン（MMD: 21.9、COV: 35％）を上回る結果であった。
• アブレーションスタディの結果、位置符号化が性能を向上させ、FPDを6.40から3.49に低下させた。また、1つのMLPからの一貫した初期化が一般化性能を向上させた。
• 定性的な結果から、生成された形状が学習データからメモリ化されたものではないことが示された。訓練データセット内の類似形状（最近傍）は、形状や構造において顕著に異なることが確認された。
• モデルは、ジャンプや回転といった意味のある動作を再現する、時間的に一貫性のある4次元アニメーションを生成した。