[论文解读] HyperGAN: A Generative Model for Diverse, Performant Neural Networks

Neale Ratzlaff, Fuxin Li|arXiv (Cornell University)|Jan 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 14

一句话总结

HyperGAN 引入了一种新颖的生成模型，通过基于 GAN 的方法并结合可学习的混合器，学习神经网络参数的多样化且性能优越的分布，以实现逐层权重生成中的潜在噪声相关性。该方法可在无需微调的情况下高效采样高质量、多样化的集成模型，在分布外数据和对抗性数据上实现了具有竞争力的准确率和更优的不确定性估计。

ABSTRACT

Standard neural networks are often overconfident when presented with data outside the training distribution. We introduce HyperGAN, a new generative model for learning a distribution of neural network parameters. HyperGAN does not require restrictive assumptions on priors, and networks sampled from it can be used to quickly create very large and diverse ensembles. HyperGAN employs a novel mixer to project prior samples to a latent space with correlated dimensions, and samples from the latent space are then used to generate weights for each layer of a deep neural network. We show that HyperGAN can learn to generate parameters which label the MNIST and CIFAR-10 datasets with competitive performance to fully supervised learning, while learning a rich distribution of effective parameters. We also show that HyperGAN can also provide better uncertainty estimates than standard ensembles by evaluating on out of distribution data as well as adversarial examples.

研究动机与目标

• 在不施加限制性先验或变分假设的前提下，学习神经网络参数的丰富且多样的分布。
• 通过单次前向传播实现大规模、多样化神经网络集成的高效生成。
• 利用集成多样性改进分布外数据和对抗性样本的不确定性估计。
• 通过学习网络权重上更具表现力的后验分布，克服标准集成方法和变分方法的局限性。
• 在无需迭代训练或微调的情况下，实现多样化、高性能模型的可扩展生成。

提出的方法

• 生成器网络接收多维高斯潜在代码，并利用可学习混合器为每一层的权重生成相关向量。
• 混合器将独立噪声转换为结构化潜在向量，以确保跨层的参数一致性。
• 通过在目标任务损失（如分类）上进行最大似然训练，使生成器产生准确的模型。
• 对抗性判别器对潜在空间进行正则化，以防止模式崩溃并增强生成网络的多样性。
• 该模型联合优化性能与多样性，避免依赖可逆流或固定噪声模型。
• 从生成器采样可一次性生成完整且可训练的神经网络，从而实现可扩展的集成构建。

实验结果

研究问题

• RQ1 生成模型能否在不施加限制性先验的前提下，学习到多样化且性能优越的神经网络参数分布？
• RQ2 HyperGAN 的混合器机制如何改善网络各层之间的优化与参数一致性？
• RQ3 HyperGAN 生成的集成模型能否在分布外和对抗性输入上的不确定性估计中超越标准集成？
• RQ4 缺乏可逆流或固定噪声模型是否会影响权重生成的可扩展性或性能？
• RQ5 对抗性正则化在多大程度上提升了生成网络群体的多样性并防止了模式崩溃？

主要发现

• HyperGAN 生成了完整的多层卷积网络，在无需进一步微调的情况下，于 MNIST 和 CIFAR-10 数据集上实现了具有竞争力的分类准确率。
• 从 HyperGAN 采样得到的 100 个网络集成模型，在测试准确率上显著优于单模型和标准集成模型。
• 以 L2 范数的相对标准差衡量，HyperGAN 生成模型的多样性显著高于标准训练或变分方法。
• 与同等规模的标准集成相比，HyperGAN 集成模型能更有效地检测分布外样本和对抗性样本（如 FGSM、PGD）。
• 移除判别器后，尽管准确率相似，但多样性显著降低，证实了其在促进分布扩散中的作用。
• 移除混合器后，多样性显著下降且收敛速度变慢，表明其在实现跨层有效优化中的关键作用。