[论文解读] HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion

Ziya Erkoç, Fangchang Ma+3 more|arXiv (Cornell University)|Mar 29, 2023

Model Reduction and Neural Networks被引用 6

一句话总结

HyperDiffusion 提出了一种新颖的基于扩散的生成模型，直接在编码隐式神经场的优化多层感知机（MLP）的权重空间上运行，实现了高保真度、无条件的 3D 形状和 4D 动画变形生成。通过在展平的 MLP 权重上训练基于 Transformer 的扩散模型，其在 3D 和 4D 生成任务中均取得了最先进性能，相比体素基基线模型，在多样性与感知质量方面均有提升。

ABSTRACT

Implicit neural fields, typically encoded by a multilayer perceptron (MLP) that maps from coordinates (e.g., xyz) to signals (e.g., signed distances), have shown remarkable promise as a high-fidelity and compact representation. However, the lack of a regular and explicit grid structure also makes it challenging to apply generative modeling directly on implicit neural fields in order to synthesize new data. To this end, we propose HyperDiffusion, a novel approach for unconditional generative modeling of implicit neural fields. HyperDiffusion operates directly on MLP weights and generates new neural implicit fields encoded by synthesized MLP parameters. Specifically, a collection of MLPs is first optimized to faithfully represent individual data samples. Subsequently, a diffusion process is trained in this MLP weight space to model the underlying distribution of neural implicit fields. HyperDiffusion enables diffusion modeling over a implicit, compact, and yet high-fidelity representation of complex signals across 3D shapes and 4D mesh animations within one single unified framework.

研究动机与目标

• 实现对隐式神经场的直接生成建模，无需依赖网格或体素等显式表示。
• 解决使用统一、维度无关的框架生成高维、复杂 3D 和 4D 表面数据的挑战。
• 探索在优化神经场 MLP 的紧凑、低维权重空间中应用扩散建模的可行性。
• 仅使用训练后 MLP 的参数，实现高保真度、多样化且时间一致的 3D 形状与 4D 动画合成。
• 证明权重空间扩散可超越体素基生成模型，在质量与泛化能力方面表现更优。

提出的方法

• 首先对单个 3D 或 4D 形状实例过度拟合一组 MLP，以在权重空间中创建高保真、紧凑的表示。
• 将优化后的 MLP 权重和偏置展平为向量，形成适合扩散建模的潜在表示。
• 训练基于 Transformer 的架构，直接在展平的权重向量上执行扩散建模，学习去噪并生成新的、合理的 MLP 参数集。
• 通过标准推理将生成的 MLP 权重解码为神经场，并使用 Marching Cubes 提取表面网格以供可视化与评估。
• 该方法在 3D 和 4D 数据上统一应用，无需架构调整，展示了维度无关的生成建模能力。
• 扩散过程在权重空间端到端训练，无需自编码器的潜在空间或大规模数据集的预训练。

实验结果

研究问题

• RQ1 能否有效将扩散建模直接应用于优化神经场 MLP 的权重空间，以实现生成建模？
• RQ2 单一统一框架能否仅使用 MLP 权重生成高保真 3D 形状与 4D 动画，而无需显式几何表示？
• RQ3 在 3D 和 4D 表面生成方面，权重空间扩散与体素基扩散在感知质量与多样性方面有何差异？
• RQ4 架构选择（如位置编码与权重初始化）对生成神经场质量有何影响？
• RQ5 该模型能否泛化到训练数据中未见的新颖形状，而非仅在数据间插值？

主要发现

• HyperDiffusion 在 3D 形状生成任务中达到最先进性能，感知 FPD 得分为 3.49，显著优于体素基基线（4.01）。
• 在 4D 动画序列生成方面，HyperDiffusion 的感知 FPD 为 3.49，而体素基线为 4.01，表明其视觉质量更优。
• 该方法将 MMD（分布距离）降低至 15.5，同时将 COV（多样性）提升至 45%（体素基线：MMD 21.9，COV 35%），在 4D 生成中表现更优。
• 消融实验表明，位置编码可提升性能，将 FPD 从 6.40 降低至 3.49；从单一 MLP 进行一致初始化可提升泛化能力。
• 定性结果表明，生成形状并非来自训练数据的记忆化，因为其在训练集中最近邻样本在形状与结构上均不相似。
• 该模型可生成时间一致的 4D 动画，保持形状完整性，生成如跳跃、旋转等有意义的动作。