[论文解读] Evolvability ES: Scalable and Direct Optimization of Evolvability

Alexander Gajewski, Jeff Clune+2 more|arXiv (Cornell University)|Jul 13, 2019

Evolutionary Algorithms and Applications参考文献 40被引用 9

一句话总结

该论文提出Evolvability ES，一种可扩展的进化策略，通过在大规模神经网络中最大化突变下的行为多样性，直接优化可演化性。该方法在运动任务上实现了与MAML相当的性能，同时支持快速适应并实现多模态种群中的自发专业化。

ABSTRACT

Designing evolutionary algorithms capable of uncovering highly evolvable representations is an open challenge; such evolvability is important because it accelerates evolution and enables fast adaptation to changing circumstances. This paper introduces evolvability ES, an evolutionary algorithm designed to explicitly and efficiently optimize for evolvability, i.e. the ability to further adapt. The insight is that it is possible to derive a novel objective in the spirit of natural evolution strategies that maximizes the diversity of behaviors exhibited when an individual is subject to random mutations, and that efficiently scales with computation. Experiments in 2-D and 3-D locomotion tasks highlight the potential of evolvability ES to generate solutions with tens of thousands of parameters that can quickly be adapted to solve different tasks and that can productively seed further evolution. We further highlight a connection between evolvability and a recent and popular gradient-based meta-learning algorithm called MAML; results show that evolvability ES can perform competitively with MAML and that it discovers solutions with distinct properties. The conclusion is that evolvability ES opens up novel research directions for studying and exploiting the potential of evolvable representations for deep neural networks.

研究动机与目标

• 为解决在大规模神经网络中设计进化算法以高效发现高度可演化表征的挑战。
• 直接优化可演化性——即通过突变生成多样化行为的能力——而非依赖间接的选择压力。
• 使用计算高效的进化策略框架，将可演化性优化扩展至大规模基因组（例如数万个参数）。
• 探索进化计算中的可演化性与基于梯度的元学习（如MAML）之间的联系，提示两者在快速适应方面可能存在共通原理。

提出的方法

• 将进化策略（ES）框架适配为直接优化新目标：最大化策略突变变体在行为多样性上的熵。
• 使用随机计算图（SCGs）计算可演化性目标的梯度估计，实现通过突变期望的反向传播。
• 采用多模态高斯混合模型（GMM）种群来建模和演化多个专门化的行为模式，其中变体采用随机初始化或对称性破缺的种子初始化。
• 将可演化性目标整合到ES更新规则中，实现性能与可演化性的联合优化，且额外计算开销极小。
• 复用性能评估所用的轨迹来估计可演化性梯度，实现高效的辅助优化，无需额外环境交互。
• 将该方法应用于前馈神经网络策略的2D和3D运动任务，通过随机突变采样行为多样性。

实验结果

研究问题

• RQ1 能否使用可扩展的进化策略在大规模神经网络中直接且高效地优化可演化性？
• RQ2 与基于梯度的元学习方法（如MAML）相比，直接可演化性优化在性能和适应能力方面表现如何？
• RQ3 多模态种群（如GMM）是否能在无显式专业化压力下演化出专门化的行为模式？
• RQ4 在进化计算中，可演化性在多大程度上可作为辅助目标，以增强新颖性驱动或目标导向的进化？

主要发现

• Evolvability ES 成功在具有数万个参数的大规模神经网络中优化了可演化性，在2D和3D运动任务上实现了与MAML相当的性能。
• 该方法通过突变实现了对新任务的快速适应，表明高度可演化策略可被直接且高效地演化。
• 在多模态变体中，种群自发涌现出不同的行为模式，无需显式压力，表明存在朝向专业化的自组织倾向。
• 采用预训练单模态种群进行种子初始化的分裂GMM变体，其行为覆盖范围与普通GMM无显著差异，表明类似物种分化的现象可仅由可演化性优化自发产生。
• 用于性能评估的相同轨迹被复用于估计可演化性梯度，实现了无需额外环境评估的辅助优化。
• 结果表明，进化计算中的可演化性与参数空间元学习之间存在深刻的概念联系，Evolvability ES为MAML提供了一种互补的、非基于梯度的替代方案。