[论文解读] Increasing Behavioral Complexity for Evolved Virtual Creatures with the ESP Method

Dan Lessin, Don Fussell+2 more|arXiv (Cornell University)|Oct 27, 2015

Artificial Intelligence in Games参考文献 23被引用 3

一句话总结

本文提出ESP——一种通过人工设计的学习任务大纲、技能封装以及受潘多蒙机制启发的行为冲突解决机制，提升进化虚拟生物行为复杂性的新方法。该方法使进化生物的行为复杂度达到以往最先进水平的约两倍，包含两个版本：Fast ESP在计算量线性增长下实现高效演化；General ESP在资源允许时支持完整形态适应。

ABSTRACT

Since their introduction in 1994 (Sims), evolved virtual creatures (EVCs) have employed the coevolution of morphology and control to produce high-impact work in multiple fields, including graphics, evolutionary computation, robotics, and artificial life. However, in contrast to fixed-morphology creatures, there has been no clear increase in the behavioral complexity of EVCs in those two decades. This paper describes a method for moving beyond this limit, making use of high-level human input in the form of a syllabus of intermediate learning tasks--along with mechanisms for preservation, reuse, and combination of previously learned tasks. This method--named ESP for its three components: encapsulation, syllabus, and pandemonium--is presented in two complementary versions: Fast ESP, which constrains later morphological changes to achieve linear growth in computation time as behavioral complexity is added, and General ESP, which allows this restriction to be removed when sufficient computational resources are available. Experiments demonstrate that the ESP method allows evolved virtual creatures to reach new levels of behavioral complexity in the co-evolution of morphology and control, approximately doubling the previous state of the art.

研究动机与目标

• 为解决过去二十年间进化虚拟生物（EVCs）行为复杂度停滞的问题，其行为通常仅限于单一或少数可区分的行为。
• 实现共演化形态与控制的EVCs中，演化出日益复杂、多行为组合的行为库。
• 开发一种可扩展的方法，支持复杂行为的开放式发展，且计算成本不呈指数级增长。
• 通过封装机制实现对先前学习技能的重用与组合，确保演化过程中的向后兼容性。
• 探索通过结构化、人工引导的学习进程，实现虚拟生物行为的丰富性、多样性与高适应度的可行性。

提出的方法

• ESP方法使用人工设计的大纲，将复杂行为分解为一系列较小的中间学习任务。
• 每个学习到的子技能均被封装，以保持其功能并防止在后续演化中退化，从而实现模块化重用。
• 采用受潘多蒙机制启发的机制，通过允许多个行为模块‘竞争’并选择最合适的动作，解决不同驱动力或行为之间的冲突。
• Fast ESP在首个技能学习完成后对形态变化施加约束，确保计算时间随复杂度增加呈线性增长。
• General ESP通过在每次新增技能后重新测试并调和所有先前技能，移除形态约束，实现完整形态适应，但计算成本更高。
• 系统通过允许在封装、可重用的子技能基础上构建新技能，支持开放式演化，实现行为的分层组合。

实验结果

研究问题

• RQ1 能否显著提升进化虚拟生物的行为复杂度，使其超越当前最先进水平，即大多数EVCs仅表现出单一或少数可区分行为？
• RQ2 在形态与控制共演化的情况下，能否实现复杂行为的可扩展、开放式发展，且计算成本不呈指数级增长？
• RQ3 在经历持续形态变化的演化生物中，如何保存并重用先前学习到的技能？
• RQ4 人工设计的学习任务大纲在多大程度上能引导虚拟生物演化出日益复杂、多行为组合的行为库？
• RQ5 结合约束与非约束形态适应的混合方法，能否在EVC演化中同时实现效率与高质量、多样化解决方案？

主要发现

• ESP方法成功将进化虚拟生物的行为复杂度提升至接近以往最先进水平的两倍。
• Fast ESP在增加行为复杂度时仅实现计算时间的线性增长，实现了可扩展的演化。
• General ESP通过允许在多个技能间实现完整形态适应，展现出更高的解多样性与更高适应度，尽管计算成本更高。
• 封装机制有效保留了演化世代间的学习子技能，实现了在高层行为中可靠重用与组合。
• 潘多蒙机制成功解决了竞争行为之间的冲突，使生物能够根据上下文动态选择合适动作。
• 实验验证了该方法支持复杂、多行为组合的开放式发展，包括高级行为如战斗或逃跑反应及翻倒恢复。