[论文解读] Learning to Generate Genotypes with Neural Networks

Alexander W. Churchill, Siddharth Sigtia+1 more|arXiv (Cornell University)|Apr 14, 2016

Evolutionary Algorithms and Applications参考文献 31被引用 5

一句话总结

本文提出了一种新颖的进化算法，利用去噪自编码器（dA）和神经自回归分布估计器（NADE）来学习基因型搜索的自适应突变分布。通过在线训练高质量解的神经网络，该方法生成的后代比传统遗传算法和EDAs更有效，在MaxSat和HIFF等困难的离散问题上表现更优。

ABSTRACT

Neural networks and evolutionary computation have a rich intertwined history. They most commonly appear together when an evolutionary algorithm optimises the parameters and topology of a neural network for reinforcement learning problems, or when a neural network is applied as a surrogate fitness function to aid the evolutionary optimisation of expensive fitness functions. In this paper we take a different approach, asking the question of whether a neural network can be used to provide a mutation distribution for an evolutionary algorithm, and what advantages this approach may offer? Two modern neural network models are investigated, a Denoising Autoencoder modified to produce stochastic outputs and the Neural Autoregressive Distribution Estimator. Results show that the neural network approach to learning genotypes is able to solve many difficult discrete problems, such as MaxSat and HIFF, and regularly outperforms other evolutionary techniques.

研究动机与目标

• 解决进化算法中静态遗传算子破坏有用构建块的局限性。
• 探索神经网络是否能够学习到有效且数据驱动的突变分布以用于进化搜索。
• 研究在有希望的解上在线训练神经模型是否能提升在困难组合优化问题上的收敛性和解的质量。
• 通过神经生成模型将估计分布算法（EDAs）的适用范围扩展至实值和混合整数问题。
• 评估迁移学习与局部搜索在基于神经网络的EDA框架中的潜力。

提出的方法

• 在高质量基因型上训练去噪自编码器（dA），以学习搜索空间的压缩且结构化的表示。
• 利用dA的随机输出生成突变，其方向受有希望解的编码结构引导。
• 使用神经自回归分布估计器（NADE）以自回归方式建模基因型的联合概率分布。
• 两种模型均使用种群中最佳个体在线训练，从而实现对搜索分布的自适应学习。
• 对于实值和混合整数问题，dA的输出被解释为高斯分布的均值，且NADE被扩展为实值变体（RNADE）。
• 该框架将神经模型整合进进化循环中，后代通过从训练好的神经模型中采样生成，而非使用固定的遗传算子。

实验结果

研究问题

• RQ1 神经网络能否学习到一种有效且自适应的突变分布，从而提升在困难离散优化问题上的搜索性能？
• RQ2 基于神经网络的EDA与经典遗传算法及PBIL和BOA等成熟EDAs相比，性能如何？
• RQ3 在线模型训练对偏差和收敛性有何影响？周期性重训是否能减少样本偏差？
• RQ4 神经模型能否推广至实值和混合整数优化问题，从而超越离散EDAs的限制？
• RQ5 在相关问题实例之间，利用同一训练好的神经模型实现知识迁移的程度如何？

主要发现

• 基于神经网络的进化算法在多个基准问题（包括MaxSat和HIFF）上始终优于经典遗传算法（GA）。
• 基于dA的方法从未输给GA，表明其在搜索效率和解质量方面具有稳健优势。
• NADE方法在多个问题上，尤其是在复杂且高维的搜索空间中，表现优于PBIL和BOA。
• 在线训练的引入带来了模型偏差的风险，例如对某些解分区的强烈偏好，可能导致搜索陷入局部最优。
• 通过将dA输出解释为高斯分布的均值，并使用RNADE处理连续分布，该框架可扩展至实值和混合整数问题。
• 初步结果表明，跨相关问题实例的迁移学习是可行的，同一模型在一项任务上训练后可加速后续任务的性能。