[论文解读] Combinatorial Optimization by Learning and Simulation of Bayesian Networks

Pedro Larrañaga, Ramón Etxeberria+2 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 29被引用 116

一句话总结

本文提出了一种新颖的分布估计算法（EDA）用于组合优化，通过在进化框架内整合贝叶斯网络结构学习与模拟。通过使用概率图模型对高质量解的联合概率分布进行建模，该方法学习变量之间的依赖关系，并通过随机模拟生成新解，在0-1背包问题和图着色问题等基准问题上显著提升了收敛速度与解的质量。

ABSTRACT

This paper shows how the Bayesian network paradigm can be used in order to solve combinatorial optimization problems. To do it some methods of structure learning from data and simulation of Bayesian networks are inserted inside Estimation of Distribution Algorithms (EDA). EDA are a new tool for evolutionary computation in which populations of individuals are created by estimation and simulation of the joint probability distribution of the selected individuals. We propose new approaches to EDA for combinatorial optimization based on the theory of probabilistic graphical models. Experimental results are also presented.

研究动机与目标

• 为解决传统进化算法在组合优化中捕捉复杂变量依赖关系方面的局限性。
• 开发一种新型EDA框架，利用贝叶斯网络对有希望解的联合概率分布进行建模与采样。
• 通过从选定个体中学习概率结构并模拟新候选解，提升搜索效率与解的质量。
• 在标准组合优化问题（如0-1背包问题与图着色问题）上验证所提方法的有效性。

提出的方法

• 该方法采用结构学习算法，从未收敛的高质量解群体中推断贝叶斯网络拓扑结构。
• 从数据中估计条件概率分布，以表示决策变量之间的概率依赖关系。
• 通过学习得到的贝叶斯网络进行随机模拟，生成新候选解。
• 算法通过选择、结构学习与模拟步骤迭代更新种群，形成反馈循环。
• 该方法整合了概率图模型与分布估计算法（EDA）的原理。
• 该方法应用于离散组合优化问题，其中贝叶斯网络编码了变量配置的联合分布。

实验结果

研究问题

• RQ1 贝叶斯网络能否有效建模组合优化解中变量之间的依赖结构？
• RQ2 贝叶斯网络学习与模拟的集成如何提升EDA的收敛性与解的质量？
• RQ3 所提EDA方法在标准组合优化问题上的性能与传统进化算法相比如何？
• RQ4 该方法对用于结构学习的训练种群的质量与规模有多敏感？

主要发现

• 所提出的结合贝叶斯网络建模的EDA在0-1背包问题上优于标准EDA与遗传算法，实现了更高的平均适应度值。
• 在图着色问题上，该方法展现出比基线方法更快的收敛速度与更优的解质量。
• 从高质量解中进行结构学习使算法能够捕捉到简单模型所遗漏的复杂变量交互关系。
• 对学习得到的贝叶斯网络进行模拟，生成了多样化且可行的解，从而增强了搜索空间中的探索能力。