[论文解读] Illuminating search spaces by mapping elites

Jean-Baptiste Mouret, Jeff Clune|arXiv (Cornell University)|Apr 20, 2015

Reinforcement Learning in Robotics参考文献 59被引用 406

一句话总结

本文提出MAP-Elites，一种新颖的进化算法，可在用户定义的特征空间中映射高性能解，揭示性能与设计属性之间的权衡。通过系统性地探索并归档精英解，该方法在全局性能上优于传统优化器，即使仅搜索单一最优解时亦然。

ABSTRACT

Many fields use search algorithms, which automatically explore a search space to find high-performing solutions: chemists search through the space of molecules to discover new drugs; engineers search for stronger, cheaper, safer designs, scientists search for models that best explain data, etc. The goal of search algorithms has traditionally been to return the single highest-performing solution in a search space. Here we describe a new, fundamentally different type of algorithm that is more useful because it provides a holistic view of how high-performing solutions are distributed throughout a search space. It creates a map of high-performing solutions at each point in a space defined by dimensions of variation that a user gets to choose. This Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) algorithm illuminates search spaces, allowing researchers to understand how interesting attributes of solutions combine to affect performance, either positively or, equally of interest, negatively. For example, a drug company may wish to understand how performance changes as the size of molecules and their cost-to-produce vary. MAP-Elites produces a large diversity of high-performing, yet qualitatively different solutions, which can be more helpful than a single, high-performing solution. Interestingly, because MAP-Elites explores more of the search space, it also tends to find a better overall solution than state-of-the-art search algorithms. We demonstrate the benefits of this new algorithm in three different problem domains ranging from producing modular neural networks to designing simulated and real soft robots. Because MAP- Elites (1) illuminates the relationship between performance and dimensions of interest in solutions, (2) returns a set of high-performing, yet diverse solutions, and (3) improves finding a single, best solution, it will advance science and engineering.

研究动机与目标

• 解决传统搜索算法仅返回单一或少数几个高性能解的局限性，往往忽略设计空间中的关键权衡。
• 开发一种方法，提供性能在感兴趣维度（如尺寸、成本或模块化程度）上变化的全面、可视化地图。
• 通过探索更广泛的搜索空间，提升全局优化性能，从而增加找到更优整体解的可能性。
• 使研究人员和工程师不仅能理解最佳解，还能理解设计特征组合如何促成性能的产生。
• 为进化计算与优化领域中广泛使用的算法提供可引用、基础性的参考文献。

提出的方法

• MAP-Elites使用用户选择的属性（如尺寸、成本、模块化程度）定义多维特征空间，用于组织和归档高性能解。
• 该算法维护一个网格（地图），其中每个单元对应一组唯一的特征值组合，并为每个单元存储找到的最高性能解。
• 它采用分层的、并行化的进化算法来探索搜索空间，通过变异和选择生成新解，其适应度通过仿真或实验评估。
• 地图的分辨率随时间自适应提高，从粗网格开始，随着搜索推进逐步细化至更高分辨率。
• 根据解的特征值将其映射到对应单元，仅保留每个单元中性能最高的解，确保精英解的保留。
• 该算法采用基于批次的更新策略，每轮迭代评估多个解，并迭代更新地图以覆盖更广的特征空间。

实验结果

研究问题

• RQ1 搜索算法能否提供用户定义设计特征上性能的全面、可视化地图，揭示属性与性能之间的权衡和关系？
• RQ2 通过基于特征的映射探索更广的搜索空间，是否能比传统优化算法获得更优的整体解？
• RQ3 与仅返回单一最优解的算法相比，MAP-Elites在多大程度上发现了多样化且高性能的解，且这些解在定性上显著不同？
• RQ4 在全局可靠性、精度和特征空间覆盖方面，该算法的性能与最先进方法相比如何？
• RQ5 MAP-Elites能否在神经网络设计、软体机器人和物理机器人控制等多样化领域中有效应用？

主要发现

• 在所有测试领域（包括软体机器人和神经网络设计）中，MAP-Elites的全局性能均优于最先进优化算法。
• 该算法在特征空间中发现了多样化且高性能的解，揭示了单解优化器无法察觉的性能权衡。
• 在视网膜问题中，MAP-Elites映射了连接成本与网络模块化程度之间的性能，识别出在这些竞争特征间取得平衡的高性能配置。
• 在软体机器人设计中，该算法探索了骨骼占比与体素填充率的组合，生成了展示运动性能的地图，揭示了最优设计区域。
• 在物理机械臂实验中，MAP-Elites在覆盖范围和适应度上均优于随机采样和网格搜索，找到了能达到最高位置的配置。
• 该算法表现出更优的全局可靠性与精度，其性能在所有运行中均以各单元的最佳已知解为基准进行归一化。