[论文解读] Exploring Promising Stepping Stones by Combining Novelty Search with Interactive Evolution

Brian G. Woolley, Kenneth O. Stanley|arXiv (Cornell University)|Jul 28, 2012

Evolutionary Algorithms and Applications参考文献 25被引用 10

一句话总结

本文提出新颖性辅助交互式进化计算（NA-IEC），将新颖性搜索与人工引导选择相结合，以加速复杂智能体行为的发现。通过让用户选择具有前景的非目标行为，并基于这些行为生成新颖的后代，NA-IEC 实现了比纯新颖性搜索或基于目标的进化更快的收敛速度和更低的基因组复杂度。

ABSTRACT

The field of evolutionary computation is inspired by the achievements of natural evolution, in which there is no final objective. Yet the pursuit of objectives is ubiquitous in simulated evolution. A significant problem is that objective approaches assume that intermediate stepping stones will increasingly resemble the final objective when in fact they often do not. The consequence is that while solutions may exist, searching for such objectives may not discover them. This paper highlights the importance of leveraging human insight during search as an alternative to articulating explicit objectives. In particular, a new approach called novelty-assisted interactive evolutionary computation (NA-IEC) combines human intuition with novelty search for the first time to facilitate the serendipitous discovery of agent behaviors. In this approach, the human user directs evolution by selecting what is interesting from the on-screen population of behaviors. However, unlike in typical IEC, the user can now request that the next generation be filled with novel descendants. The experimental results demonstrate that combining human insight with novelty search finds solutions significantly faster and at lower genomic complexities than fully-automated processes, including pure novelty search, suggesting an important role for human users in the search for solutions.

研究动机与目标

• 解决基于目标的进化计算的局限性，即在搜索过程中对与最终目标不相似的中间解施加惩罚，导致在具有欺骗性的搜索空间中搜索失败。
• 探究人类直觉（特别是识别具有前景的非目标中间步骤）是否能够比自动化的适应度函数更有效地引导进化搜索。
• 研究将新颖性搜索（生成多样化行为）与人工选择（识别有意义的进展）相结合，是否能优于完全自动化或完全交互式的方法。
• 通过自动化大部分搜索过程，同时保留人类对何种行为可被视为‘有前景’的洞察，减轻人类用户的负担。
• 证明非目标、人工引导的搜索在速度、解决方案质量及基因组复杂度方面，优于传统的目标驱动或纯新颖性方法。

提出的方法

• NA-IEC 将新颖性搜索作为生成多样化、新颖行为的机制，确保探索搜索空间中未被探索的区域。
• 人类用户从演化出的智能体群体中交互式选择他们认为有趣或有前景的行为，提供隐式引导，而无需定义正式的适应度函数。
• 所选行为被用作种子，通过新颖性搜索生成下一代后代，确保持续的多样性与探索性。
• 该方法通过依赖人类对路径平滑性、结构一致性或进一步发展潜力等定性特征的感知，避免使用显式目标。
• 该过程在人类评估与自动化新颖性驱动生成之间交替进行，形成一个反馈回路，优先选择人类直觉上认为重要的行为。
• 通过测量基因组复杂度，评估解决方案是否以更简单、更高效的表示形式被发现，从而反映更好的泛化能力与更低的过拟合风险。

实验结果

研究问题

• RQ1 与完全自动化的方法相比，人类在识别非目标、有前景的中间步骤方面所展现的直觉，是否能显著加速进化搜索？
• RQ2 将新颖性搜索与交互式选择相结合，是否能实现比纯新颖性搜索或基于目标的进化更快的收敛速度和更低的基因组复杂度？
• RQ3 在具有欺骗性或复杂性的搜索空间中，人类用户在未明确表达正式适应度函数的情况下，能在多大程度上有效引导进化？
• RQ4 人类感知与自动化新颖性生成之间的协同作用，如何提升复杂行为的偶然发现效率？
• RQ5 NA-IEC 是否能减少对耗时的领域特定适应度函数手动设计的需求，同时保持或提升解决方案质量？

主要发现

• NA-IEC 发现解决方案的速度显著快于纯新颖性搜索和基于目标的进化，大幅减少了达到目标行为所需的代数。
• 通过 NA-IEC 发现的解决方案基因组复杂度低于基于目标的方法，表明其具有更高效且可能更具泛化能力的表示形式。
• 人类用户仅用最多十分钟时间完成数十次选择，即可有效引导搜索，证明其认知负荷低且效率高。
• 该方法成功恢复了先前演化出的高复杂度行为（例如 Picbreeder 中的蝴蝶与骷髅图像），而这些行为在使用相同行为作为自动化目标时无法被重新演化。
• 即使目标在事先已知，NA-IEC 在收敛速度与解决方案质量方面仍优于纯新颖性搜索与基于目标的搜索。
• 该方法通过避免对非目标中间状态施加惩罚的适应度函数，缓解了进化搜索中的欺骗性问题，而这些中间状态往往是实现最终目标所必需的。