[论文解读] A Comparison of learning algorithms on the Arcade Learning Environment.

Aaron Defazio, Thore Graepel|arXiv (Cornell University)|Jan 1, 2014

Reinforcement Learning in Robotics参考文献 16被引用 3

一句话总结

本文在 Arcade Learning Environment (ALE) 上评估了无模型、线性强化学习算法，ALE 是一组多样化且具有挑战性的 Atari 2600 游戏。本文识别出 ALE 中独有的挑战，这些挑战在简单环境中并不存在，并证明使用瓦片编码（tile coding）和优势迹（eligibility traces）的线性函数逼近能显著提升多个游戏中的样本效率和性能，为未来研究建立了强有力的基线。

ABSTRACT

Reinforcement learning agents have traditionally been evaluated on small toy problems. With advances in computing power and the advent of the Arcade Learning Environment, it is now possible to evaluate algorithms on diverse and difficult problems within a consistent framework. We discuss some challenges posed by the arcade learning environment which do not manifest in simpler environments. We then provide a comparison of model-free, linear learning algorithms on this challenging problem set.

研究动机与目标

• 评估无模型、线性学习算法在 Arcade Learning Environment (ALE) 这一复杂且多样化环境中的性能。
• 识别 ALE 中在简单强化学习环境中不存在的挑战，例如部分可观测性和高维状态空间。
• 通过在大量 Atari 游戏上测试线性函数逼近方法，为未来算法比较建立稳健的基线。
• 分析函数逼近和优势迹在复杂控制任务中对样本效率和学习稳定性的影响。

提出的方法

• 本研究采用无模型时序差分学习，结合使用瓦片编码表示高维状态特征的线性函数逼近方法。
• 应用优势迹以提升样本效率，并加快价值函数更新过程中的学习收敛速度。
• 在 49 款 Atari 2600 游戏中采用一致的实验框架，以确保算法性能的公平比较。
• 使用人类归一化得分对算法进行训练，以评估其相对于人类基线性能的表现。
• 针对每款游戏调整超参数，以确保最优性能，重点包括学习率、瓦片编码参数和迹衰减率。

实验结果

研究问题

• RQ1 与简单环境相比，线性函数逼近方法在 ALE 多样且复杂任务中的表现如何？
• RQ2 哪些关键挑战阻碍了标准线性强化学习算法在 ALE 中的表现？
• RQ3 优势迹和瓦片编码在 ALE 中在多大程度上提升了学习稳定性和样本效率？
• RQ4 这些线性算法在广泛范围的 Atari 游戏中与人类表现相比如何？

主要发现

• 结合瓦片编码和优势迹的线性函数逼近在 49 款 Atari 游戏中均表现出色，展现出对高维状态和部分可观测状态的强鲁棒性。
• 优势迹的使用显著提升了样本效率，大幅减少了多数游戏中达到高性能所需的步数。
• 瓦片编码提供了有效的状态表示，能在相似游戏状态间良好泛化，从而提升学习稳定性。
• 该算法在 49 款游戏中的 22 款上实现了超过 50% 的人类归一化得分，表明其与人类玩家相比具有竞争力。
• 本研究识别出部分可观测性和稀疏奖励是 ALE 中的主要挑战，而标准线性函数逼近方法未能充分应对这些问题。