[论文解读] Deep Adversarial Belief Networks

Yuming Huang, Ashkan Panahi+3 more|arXiv (Cornell University)|Sep 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 4

一句话总结

本文提出了一种用于深度置信网络（DBNs）的新型对抗性训练框架，用DBN替代GAN中的生成器，实现了无需反向传播、可并行化的训练。该方法在数据有限时展现出优越的可扩展性和泛化能力，尤其在使用DBN进行预训练后，其分类任务表现优于标准CNN，同时支持灵活集成池化和归一化等正则化单元。

ABSTRACT

We present a novel adversarial framework for training deep belief networks (DBNs), which includes replacing the generator network in the methodology of generative adversarial networks (GANs) with a DBN and developing a highly parallelizable numerical algorithm for training the resulting architecture in a stochastic manner. Unlike the existing techniques, this framework can be applied to the most general form of DBNs with no requirement for back propagation. As such, it lays a new foundation for developing DBNs on a par with GANs with various regularization units, such as pooling and normalization. Foregoing back-propagation, our framework also exhibits superior scalability as compared to other DBN and GAN learning techniques. We present a number of numerical experiments in computer vision as well as neurosciences to illustrate the main advantages of our approach.

研究动机与目标

• 解决基于Gibbs采样和最大似然的传统DBN训练方法存在的收敛缓慢与正则化灵活性不足问题。
• 通过用对抗性训练替代反向传播，使DBN能够灵活集成DNN中常用的高级正则化单元（如池化和归一化）。
• 通过受GAN启发的、可并行化的随机优化框架，提升DBN训练的可扩展性与数值效率。
• 展示DBN在建模复杂稀疏数据（如生物神经元动作电位序列与低数据量视觉任务）方面的有效性。
• 建立一种新的DBN训练范式，使其性能与灵活性达到与GAN相当的水平，同时保留其贝叶斯、生成式与可逆特性。

提出的方法

• 用深度置信网络（DBN）替代GAN中的生成器，形成深度对抗信念网络（DABN）。
• 采用对抗性训练目标，使判别器区分真实数据与DBN生成的样本，从而实现端到端优化，无需对DBN进行反向传播。
• 采用随机、分层训练算法，可在层间高度并行化，显著提升传统DBN训练的可扩展性。
• 将对抗性框架应用于多种GAN变体（包括条件GAN与WGAN），确保与现代优化方案的兼容性。
• 在DBN中采用对称且可逆的推理机制，支持生成与推理双向操作，适用于特征提取与去噪等应用。
• 通过对抗性训练框架，将标准DNN正则化技术（如池化与归一化）整合至DBN架构中。

实验结果

研究问题

• RQ1 对抗性训练能否有效应用于DBNs以替代反向传播并提升训练效率？
• RQ2 所提出的框架能否在DBN中支持类似DNN中的池化与归一化等正则化单元？
• RQ3 与标准DBN或CNN训练相比，DBN的对抗性训练是否能在训练数据有限时带来更好的泛化性能？
• RQ4 基于DBN的生成模型能否有效捕捉稀疏生物神经元动作电位数据的统计特性？
• RQ5 在训练数据稀缺时，使用DBN预训练权重微调的CNN性能是否优于标准CNN？

主要发现

• 在仅100个样本的小型MNIST数据集上训练时，经DBN预训练的CNN准确率达到77.772%（标准差1.501%），显著优于标准CNN的70.037%（标准差6.32%），且方差更低。
• 在1,000个训练样本下，DBN预训练的CNN准确率达到96.081%（标准差0.622%），优于标准CNN的94.625%（标准差0.355%），表现出更高的稳定性和泛化能力。
• DBN在训练过程中对真实神经元动作电位数据的对数似然值持续上升，证实其有效建模了底层概率分布。
• DBN生成的放电概率与小鼠视觉皮层神经元的实际放电率高度匹配，即使在整体放电率极低（约每100帧1次放电）时亦然。
• 该框架成功实现了无需反向传播的复杂DBN训练，包括含卷积层与全连接层的DBN，如4层卷积DBN与4层全连接DBN。
• 该方法与多种GAN变体（包括条件GAN与WGAN）兼容，支持多种优化器与训练方案。