[论文解读] Gray-box optimization and factorized distribution algorithms: where two worlds collide

Roberto Santana|arXiv (Cornell University)|Jul 11, 2017

Error Correcting Code Techniques参考文献 32被引用 9

一句话总结

本文通过分析灰盒优化与因子分解分布算法（FDAs）如何利用问题结构以提升进化算法效率，架起了两者之间的桥梁。它识别出两种竞争性的分析框架——基于模式的与基于因子分解的——并揭示了在可进化性、动态问题以及神经建模方面共享的原则与开放性挑战。

ABSTRACT

The concept of gray-box optimization, in juxtaposition to black-box optimization, revolves about the idea of exploiting the problem structure to implement more efficient evolutionary algorithms (EAs). Work on factorized distribution algorithms (FDAs), whose factorizations are directly derived from the problem structure, has also contributed to show how exploiting the problem structure produces important gains in the efficiency of EAs. In this paper we analyze the general question of using problem structure in EAs focusing on confronting work done in gray-box optimization with related research accomplished in FDAs. This contrasted analysis helps us to identify, in current studies on the use problem structure in EAs, two distinct analytical characterizations of how these algorithms work. Moreover, we claim that these two characterizations collide and compete at the time of providing a coherent framework to investigate this type of algorithms. To illustrate this claim, we present a contrasted analysis of formalisms, questions, and results produced in FDAs and gray-box optimization. Common underlying principles in the two approaches, which are usually overlooked, are identified and discussed. Besides, an extensive review of previous research related to different uses of the problem structure in EAs is presented. The paper also elaborates on some of the questions that arise when extending the use of problem structure in EAs, such as the question of evolvability, high cardinality of the variables and large definition sets, constrained and multi-objective problems, etc. Finally, emergent approaches that exploit neural models to capture the problem structure are covered.

研究动机与目标

• 识别并调和灰盒优化与FDAs中使用的两种不同分析框架：对算法行为的基于模式的解释与基于因子分解的解释。
• 回顾现有研究中利用问题结构于进化算法的成果，特别是通过图模型与概率表示的方法。
• 探讨开放性挑战，如可进化性、高变量基数、约束与多目标问题，以及动态适应度函数。
• 考察利用神经模型捕捉进化算法中问题结构的新兴方法。
• 研究灰盒优化与估计分布算法（EDAs）之间潜在的融合可能，特别是通过与局部搜索及最优混合相结合的混合方法。

提出的方法

• 对灰盒优化与FDAs的形式化方法、研究问题与研究成果进行对比分析，以识别其潜在的共同原理。
• 使用白-灰-黑（WGB）分类法，以细化对问题信息可得性及其对算法设计影响的理解。
• 分析基于超平面与基于因子分解的形式化方法，以展示在可分解优化问题中如何利用问题结构。
• 回顾结合灰盒局部搜索（如HBHC）与建模型EA（如P3）的混合方法，强调其性能提升。
• 考察神经模型作为捕捉进化算法中问题结构的新兴工具，特别是在复杂或未知问题景观中的应用。
• 探究模型学习在适应动态函数中的作用，以及通过结构建模偏置可进化性的潜力。

实验结果

研究问题

• RQ1 基于模式的与基于因子分解的对进化算法行为的表征有何不同？它们在何种程度上冲突或趋同？
• RQ2 在将问题结构表示为图模型时，能在多大程度上超越传统启发式或基于表示的方法，提升EA的效率？
• RQ3 基于模型的EA若能从数据中学习，是否比依赖静态结构假设的灰盒优化器更有效地适应动态适应度函数？
• RQ4 问题结构在促进或偏置进化算法中可进化性的演化方面发挥何种作用？
• RQ5 如何有效整合神经模型到EA中，以捕捉并利用复杂或理解不足的优化景观中的问题结构？

主要发现

• 灰盒优化与FDAs均利用问题结构，但依赖于根本不同的分析框架：基于模式的分析与基于因子分解的建模，二者在对算法行为的解释上常发生冲突。
• 尽管形式化方法不同，两者共享共同的底层原理，如使用图模型表示变量间相互作用，但这些原理在比较研究中常被忽视。
• 结合灰盒局部搜索（如HBHC）与建模型EA（如P3）的混合算法在性能上优于独立的灰盒方法，尤其在适应度函数存在平台区时表现更优。
• 从数据中学习的基于模型的EA在适应动态函数方面比静态灰盒方法更具适应性，表明其在实际应用中具有关键优势。
• 将神经模型整合到EA中，为捕捉复杂且未知的问题结构提供了有前景的路径，但其理论与实证基础仍不充分。
• 关于是否以及如何通过结构知识建模并偏置可进化性的问题仍处于开放状态，目前尚无共识关于结构与EA中可进化性之间关联机制的明确理解。