[论文解读] Generative Adversarial Networks in Estimation of Distribution Algorithms for Combinatorial Optimization

Malte Probst|arXiv (Cornell University)|Sep 30, 2015

Music and Audio Processing参考文献 13被引用 5

一句话总结

该论文将生成对抗网络（GANs）整合进分布估计算法（EDAs）以解决组合优化问题，提出了一种新型概率模型 GAN-EDA。尽管 GAN 具备隐式建模复杂分布的能力，但该方法由于早期训练数据噪声大导致梯度信号差，且超参数调优困难，尤其在 beyond onemax 的非平凡问题上表现不佳，未能达到竞争性性能。

ABSTRACT

Estimation of Distribution Algorithms (EDAs) require flexible probability models that can be efficiently learned and sampled. Generative Adversarial Networks (GAN) are generative neural networks which can be trained to implicitly model the probability distribution of given data, and it is possible to sample this distribution. We integrate a GAN into an EDA and evaluate the performance of this system when solving combinatorial optimization problems with a single objective. We use several standard benchmark problems and compare the results to state-of-the-art multivariate EDAs. GAN-EDA doe not yield competitive results - the GAN lacks the ability to quickly learn a good approximation of the probability distribution. A key reason seems to be the large amount of noise present in the first EDA generations.

研究动机与目标

• 探究生成对抗网络（GANs）是否可在组合优化的分布估计算法（EDAs）框架中作为有效的概率模型。
• 评估 GAN-EDA 在标准基准问题上的性能，与当前最先进的多变量 EDAs（如 BOA 和 DAE-EDA）进行比较。
• 识别 GAN-EDA 表现不佳的根本原因，尤其关注早期生成中训练数据质量和梯度信号强度问题。
• 从适应度评估次数和 CPU 时间角度，评估 GAN-EDA 的计算效率与收敛行为。

提出的方法

• 在 EDA 框架中集成 GAN 作为概率模型，其中生成器学习从选中个体的分布中采样高质量解。
• 对抗性训练 GAN：生成器从随机噪声生成候选解，判别器则区分其与从种群中选取的真实高质量解。
• 使用随机梯度下降进行反向传播，基于二分类损失（真实 vs. 假）更新生成器和判别器的参数。
• 从训练好的生成器中采样新候选解，用于下一轮 EDA，采用与标准 EDA 相同的迭代选择-建模-采样循环。
• 将 GAN-EDA 应用于标准基准问题：onemax、连接陷阱函数、NK 山脉和 HIFF 问题。
• 调整学习率、批量大小和训练轮数等超参数，但该过程被指出高度敏感且难以稳定。

实验结果

研究问题

• RQ1 GAN 是否能在 EDA 框架中有效建模组合优化问题中高质量解的概率分布？
• RQ2 在标准基准问题上，GAN-EDA 与当前最先进的多变量 EDA（如 BOA 和 DAE-EDA）相比，其性能和收敛速度如何？
• RQ3 阻碍 GAN-EDA 达到竞争性结果的主要技术挑战是什么，尤其是在早期生成阶段？
• RQ4 GAN-EDA 表现不佳的原因是来自噪声训练数据的梯度信号不足，还是 GAN 训练动力学本身固有的不稳定性？
• RQ5 是否存在一种合适的超参数配置，使得 GAN-EDA 能在合理适应度评估次数限制内稳定找到全局最优解？

主要发现

• 在简单的 onemax 问题上，GAN-EDA 成功找到了全局最优解，其种群规模与 BOA 和 DAE-EDA 相当。
• 在更复杂的问题上——包括连接陷阱函数、NK 山脉（n=30, k=4）以及 64 位 HIFF 问题——即使使用大种群规模，GAN-EDA 也未能达到全局最优解。
• 与 BOA 和 DAE-EDA 相比，GAN-EDA 的适应度值标准差显著更高，表明其收敛不一致，且频繁陷入低质量局部最优解。
• GAN-EDA 所需的适应度评估次数和 CPU 时间远超 BOA 和 DAE-EDA，且 DAE-EDA 通常快一个数量级且更高效。
• 失败的主要原因被归因于初始训练数据中噪声水平过高，即在仅一次选择步骤后，种群中大部分为随机解。
• 在早期训练中，梯度信号微弱且不可靠，因为判别器的输出依赖于单比特分类误差，导致通过生成器的反向传播不稳定且信息量不足。