[论文解读] An electronic-game framework for evaluating coevolutionary algorithms

Karine da Silva Miras de Araújo, Fabrício Olivetti de França|arXiv (Cornell University)|Apr 3, 2016

Reinforcement Learning in Robotics参考文献 11被引用 4

一句话总结

本文提出EvoMan，一个基于《超级马里奥》的电子游戏框架，用于评估强化学习中的协同进化算法。该框架支持通过遗传算法（GA）和NEAT训练神经进化代理，使其与自适应敌人协同进化，展示了在竞争性游戏场景中更强的适应性与对抗性进化动态。

ABSTRACT

One of the common artificial intelligence applications in electronic games consists of making an artificial agent learn how to execute some determined task successfully in a game environment. One way to perform this task is through machine learning algorithms capable of learning the sequence of actions required to win in a given game environment. There are several supervised learning techniques able to learn the correct answer for a problem through examples. However, when learning how to play electronic games, the correct answer might only be known by the end of the game, after all the actions were already taken. Thus, not being possible to measure the accuracy of each individual action to be taken at each time step. A way for dealing with this problem is through Neuroevolution, a method which trains Artificial Neural Networks using evolutionary algorithms. In this article, we introduce a framework for testing optimization algorithms with artificial agent controllers in electronic games, called EvoMan, which is inspired in the action-platformer game Mega Man II. The environment can be configured to run in different experiment modes, as single evolution, coevolution and others. To demonstrate some challenges regarding the proposed platform, as initial experiments we applied Neuroevolution using Genetic Algorithms and the NEAT algorithm, in the context of competitively coevolving two distinct agents in this game.

研究动机与目标

• 为解决在游戏结束前奖励延迟导致传统监督学习不可行的环境中的学习算法评估挑战。
• 提供一个灵活可配置的测试平台，用于评估电子游戏中自主代理的学习，特别是协同进化与神经进化方法。
• 模拟反映现实世界不确定性的动态游戏环境，支持类似人类学习模式的自适应AI行为。
• 探索双方玩家与敌人代理同步进化的协同进化学习可行性，以形成对抗性升级动态。
• 通过在受控且可重复的环境中测试学习算法，支持开发更具适应性、挑战性和趣味性的电子游戏AI对手。

提出的方法

• 设计一个受《超级马里奥II》启发的可自定义游戏环境，支持单一代谢进化与协同进化等多种游戏模式。
• 基于人工神经网络（ANN）作为代理控制器，实现神经进化框架，使用遗传算法（GA）和NEAT（增强拓扑结构的神经进化）进行训练。
• 根据游戏内指标（如玩家生命值、敌人血量、生存时间）定义特定于游戏的适应度函数，以指导进化优化。
• 通过将主玩家代理与不断进化的敌人代理对战，实现协同进化，使双方并行进化以超越对方。
• 采用基于种群的进化方法，每个代理的基因组编码ANN的权重，通过多代的选种、交叉与突变实现进化。
• 引入启发式基线用于对比：玩家先在固定预编程敌人行为下学习，再过渡到协同进化训练。

实验结果

研究问题

• RQ1 协同进化算法能否有效训练代理，使其在奖励延迟的游戏环境中学习并适应不断进化的敌人行为？
• RQ2 当代理学习对抗固定敌人行为与协同进化敌人时，神经进化（GA与NEAT）的性能表现有何差异？
• RQ3 协同进化设置在多大程度上产生了对抗性升级动态，即双方代理持续相互适应以提升性能？
• RQ4 哪些敌人最难学习应对？在启发式与协同进化设置下，不同敌人类型的学习曲线有何差异？
• RQ5 与单代理学习相比，协同进化方法是否能产生更鲁棒且泛化能力更强的策略？

主要发现

• 在启发式实验中，代理成功击败了所有敌人，其中AirMan最简单（早期即被击败），而FlashMan、WoodMan和HeatMan最难应对。
• 在协同进化实验中，主玩家对FlashMan的平均生命值为0，对AirMan为74，对WoodMan为4，表明在部分敌人上表现优异，但未能击败其他敌人。
• 对MetalMan，代理在协同进化中保持了高水平表现（平均生命值94），表明适应稳定；而对FlashMan，表现持续较差（平均生命值0），表明存在持久困难。
• 对抗AirMan和QuickMan时，对抗性升级动态最为明显，代理在胜负间交替，显示出随时间推移的动态适应。
• NEAT算法因高突变率及对染色体表示的敏感性，难以长期维持完美解，尤其在应对MetalMan和CrashMan等敌人时。
• 100代进化过程中玩家与敌人生命值的变化（图4）表明，早期对某些敌人（如AirMan）的成功并不保证持续表现，凸显了在协同进化设置中需要更长训练时间。