[论文解读] Generative Adversarial Forests for Better Conditioned Adversarial Learning

Yan Zuo, Gil Avraham+1 more|arXiv (Cornell University)|May 14, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用 4

一句话总结

本文提出生成对抗森林（GAF），一种新型 GAN 框架，通过用决策森林替代标准的全连接判别器，以改善梯度条件并提升训练稳定性。通过将决策森林整合至判别器中，GAF 在牛津花卉和 CelebA 数据集上实现了显著更稳定的训练过程和更优的图像生成质量，其表现优于 DCGAN、ABC-GAN 等其他 GAN 变体，无论在定性还是定量评估中均表现更优。

ABSTRACT

In recent times, many of the breakthroughs in various vision-related tasks have revolved around improving learning of deep models; these methods have ranged from network architectural improvements such as Residual Networks, to various forms of regularisation such as Batch Normalisation. In essence, many of these techniques revolve around better conditioning, allowing for deeper and deeper models to be successfully learned. In this paper, we look towards better conditioning Generative Adversarial Networks (GANs) in an unsupervised learning setting. Our method embeds the powerful discriminating capabilities of a decision forest into the discriminator of a GAN. This results in a better conditioned model which learns in an extremely stable way. We demonstrate empirical results which show both clear qualitative and quantitative evidence of the effectiveness of our approach, gaining significant performance improvements over several popular GAN-based approaches on the Oxford Flowers and Aligned Celebrity Faces datasets.

研究动机与目标

• 为解决 GAN 训练中常见的不稳定性和条件差问题，特别是由于脆弱的极小化极大优化导致的问题。
• 通过增强判别器处理复杂非线性数据分布的能力，提升 GAN 训练的稳定性。
• 开发一种全新的端到端可训练框架，将 GAN 与决策森林统一，以实现更好的泛化能力。
• 提出一种新的定量指标——竞争性 GAN 调整损失，用于实现不同 GAN 模型之间公平且可推广的性能比较。
• 通过实证验证，更好的条件化判别器可带来更稳定且高效的 GAN 训练。

提出的方法

• 用决策森林替换标准 GAN 判别器中的最后一层全连接层，以提升非线性特征判别能力。
• 通过反向传播端到端训练决策森林，使用对森林输出的可微分近似。
• 将决策森林判别器集成到 DCGAN 架构中，形成生成对抗森林（GAF）框架。
• 采用新颖的损失调整机制，计算竞争性 GAN 调整损失，实现不同 GAN 模型之间的公平比较。
• 应用基于森林的判别器，更有效地学习复杂高维数据分布，优于传统全连接层。
• 通过判别器损失曲线、验证集上的泛化能力以及随时间变化的条件性度量，监控训练稳定性。

实验结果

研究问题

• RQ1 用决策森林替代标准的全连接判别器，能否改善 GAN 训练的条件性和稳定性？
• RQ2 将决策森林集成到 GAN 中，是否能带来更好的泛化能力并减少模式崩溃？
• RQ3 基于调整对数损失的新定量指标，能否提供更可靠且可传递的 GAN 性能比较？
• RQ4 在损失收敛性和随时间的泛化能力方面，GAF 的训练稳定性与 DCGAN 和 ABC-GAN 相比如何？
• RQ5 决策森林的非线性判别能力，在 GAN 判别器中相较于线性或 ReLU 基分类器，其优势有多大？

主要发现

• 在牛津花卉数据集上，GAF-deep 的竞争性 GAN 调整损失为 1.40，显著优于 DCGAN（3.14）和 ABC-GAN（2.15）。
• 在 CelebA 数据集上，GAF-deep 的调整损失为 1.40，相较于 ABC-GAN 提升了 1.74 个点，相较于 DCGAN 也提升了 1.74 个点。
• GAF 模型表现出更稳定的判别器损失曲线，在 200K 次迭代后仍无过拟合迹象，而 DCGAN 在更早阶段即出现过拟合。
• 条件性分析显示，GAF 在整个训练过程中保持了良好条件的梯度，而 DCGAN 的条件性随时间逐渐恶化。
• 图 5 的定性结果表明，GAF 生成的样本质量更高、多样性更强，尤其在捕捉细微细节方面优于 WGAN 和其他基线模型。
• 调整损失差异的传递排序（如 GAF-deep > GAF-shallow > ABC-GAN > DCGAN）证实了该指标在排名 GAN 性能方面的可靠性。