[论文解读] Generating Neural Networks with Neural Networks

Lior Deutsch|arXiv (Cornell University)|Jan 6, 2018

Cell Image Analysis Techniques参考文献 44被引用 11

一句话总结

本文提出了一种新颖的超网络训练框架，通过优化平衡准确率与多样性的损失函数，显式考虑权重对称性，生成多样化且准确的神经网络权重。实验表明，生成的权重位于非平凡的高维流形上，且生成网络的集成模型在对抗样本下表现出更强的鲁棒性。

ABSTRACT

Hypernetworks are neural networks that generate weights for another neural network. We formulate the hypernetwork training objective as a compromise between accuracy and diversity, where the diversity takes into account trivial symmetry transformations of the target network. We explain how this simple formulation generalizes variational inference. We use multi-layered perceptrons to form the mapping from the low dimensional input random vector to the high dimensional weight space, and demonstrate how to reduce the number of parameters in this mapping by parameter sharing. We perform experiments and show that the generated weights are diverse and lie on a non-trivial manifold.

研究动机与目标

• 开发一种超网络训练目标，无需对目标网络进行概率解释，即可生成多样化且准确的神经网络权重。
• 通过基于期望属性（准确率与有意义的多样性）的损失函数，解决神经网络缺乏自然数据分布的问题。
• 通过显式控制准确率-多样性权衡并支持灵活的多样性损失项，超越基于变分推断的超网络。
• 证明生成的权重在权重空间中形成非平凡且结构化的流形，从而支持高质量的集成模型。
• 展示由超网络生成的网络集成在对抗样本下具有更强的鲁棒性。

提出的方法

• 将超网络损失公式化为准确率与多样性项的加权和，其中多样性项考虑了平凡的对称变换（如权重排列）。
• 使用多层感知机（MLPs）将低维随机潜在向量映射到目标网络的高维权重空间。
• 在超网络架构中应用参数共享，以减少权重生成器的参数量，提升可扩展性。
• 使用反向传播端到端训练超网络，同时优化高验证准确率与生成权重的高多样性。
• 采用对称性不变的多样性度量，确保仅当网络在非平凡变换下不同时才被视为不同。
• 通过多数投票构建生成网络的集成模型，并在对抗鲁棒性与标准准确率上评估其性能。

实验结果

研究问题

• RQ1 超网络能否在不依赖变分推断或概率建模的前提下，生成多样化且准确的神经网络权重？
• RQ2 当平凡的对称变换（如权重排列）不反映真正的架构差异时，如何有意义地度量生成权重的多样性？
• RQ3 生成的权重在高维权重空间中在多大程度上形成非平凡的、低维的流形？
• RQ4 由超网络生成的网络集成是否能在对抗样本下优于单个网络？
• RQ5 与独立生成各层权重相比，超网络在跨层生成统计相关权重时，其性能如何？

主要发现

• 超网络成功生成了高验证准确率的神经网络权重，其集成在验证集上的准确率高达99.14%。
• 生成的权重在权重空间中位于非平凡且高度结构化的流形上，主成分分析（PCA）散点图显示存在显著的一维及更高维结构。
• 通过潜在空间插值生成的插值路径保持了高准确率，表明权重空间的遍历平滑且有意义，而直接路径在某些情况下失败。
• 100个超网络生成分类器的集成显著降低了对抗攻击的成功率，证明了其鲁棒性提升。
• 在所有扰动大小下，该方法在对抗鲁棒性上优于MNFG基线，对抗样本的成功率更低。
• 该方法将变分推断作为特例推广，当为多样性损失和超参数调优选择特定形式时，即退化为变分推断。