[论文解读] Training artificial neural networks to learn a nondeterministic game

Thomas E. Portegys|arXiv (Cornell University)|Jul 14, 2015

Machine Learning and Algorithms参考文献 11被引用 4

一句话总结

本文研究了使用部分状态观测的街机游戏Pong模拟现实世界不可预测性，训练人工神经网络（ANNs）以学习非确定性游戏环境。评估了三种模型——Mona、Elman和NuPIC，其中NuPIC在处理不确定性方面表现更优，表明ANNS即使在信息不完整的情况下也能学习导航概率性动态。

ABSTRACT

It is well known that artificial neural networks (ANNs) can learn deterministic automata. Learning nondeterministic automata is another matter. This is important because much of the world is nondeterministic, taking the form of unpredictable or probabilistic events that must be acted upon. If ANNs are to engage such phenomena, then they must be able to learn how to deal with nondeterminism. In this project the game of Pong poses a nondeterministic environment. The learner is given an incomplete view of the game state and underlying deterministic physics, resulting in a nondeterministic game. Three models were trained and tested on the game: Mona, Elman, and Numenta's NuPIC.

研究动机与目标

• 研究人工神经网络是否能够学习在因状态信息不完整而导致结果具有概率性的非确定性环境中进行导航。
• 评估不同循环神经网络架构在学习具有固有不确定性的游戏时的性能表现。
• 评估ANNS在部分可观测条件下泛化并做出有效决策的能力，以模拟现实世界中不可预测的系统。
• 确定在受控游戏环境中，哪种神经网络架构在学习和适应随机动态方面最为有效。

提出的方法

• 对Pong游戏进行修改，使智能体仅能接收游戏状态的部分视图，由于球和球拍位置隐藏，从而引入非确定性。
• 使用时间反向传播训练了三种循环神经网络模型——Mona、Elman和NuPIC，以从原始游戏观测中学习策略。
• 训练过程采用基于游戏得分的稀疏奖励的强化学习，鼓励智能体保持对球的击打。
• 各模型处理连续的游戏帧，以推断隐藏的状态动态并预测最优的球拍移动。
• 评估重点在于学习曲线、最终性能以及在多次训练运行中对状态不确定性的鲁棒性。
• 性能通过在相同部分观测条件下测试回合中的平均得分和一致性进行衡量。

实验结果

研究问题

• RQ1 人工神经网络能否学习在因部分状态观测导致非确定性结果的游戏环境中进行游戏？
• RQ2 在不确定性条件下，不同循环网络架构在学习稳健策略方面的表现如何比较？
• RQ3 当关键信息缺失时，ANNS在在多大程度上能够推断隐藏的游戏状态并做出有效决策？
• RQ4 网络架构的选择是否显著影响在随机环境中学习的稳定性和性能？
• RQ5 当在部分可观测条件下训练时，ANNS能否在未见游戏状态下表现出良好的泛化能力？

主要发现

• NuPIC在学习效率和最终性能方面均优于Mona和Elman，在部分可观测条件下实现了更高的平均得分。
• Elman网络表现出中等水平的学习能力，但在多次训练运行中性能波动较大。
• Mona表现出最慢的收敛速度和最低的最终性能，表明其处理不确定性能力有限。
• 所有模型均随时间改善，但只有NuPIC在多次测试回合中始终维持高水平性能。
• 结果证实，当配备足够的时序上下文时，循环网络能够学习管理非确定性动态。
• 本研究证明，神经网络能够有效学习补偿在动态、概率性环境中缺失的状态信息。