[论文解读] Can Deep Reinforcement Learning Solve Erdos-Selfridge-Spencer Games?

Maithra Raghu, Alex Irpan+4 more|arXiv (Cornell University)|Nov 7, 2017

Reinforcement Learning in Robotics参考文献 14被引用 8

一句话总结

本文引入了Erdös-Selfridge-Spencer（ESS）游戏作为评估深度强化学习（DRL）算法的新型、可分析的环境。该环境具有低维、可调节的特性，并且最优策略具有已知的线性闭式解，从而能够精确诊断DRL的性能、泛化能力以及多智能体动力学——表明当配置得当时，DRL能够解决这些游戏，特别是通过自博弈训练。

ABSTRACT

Deep reinforcement learning has achieved many recent successes, but our understanding of its strengths and limitations is hampered by the lack of rich environments in which we can fully characterize optimal behavior, and correspondingly diagnose individual actions against such a characterization. Here we consider a family of combinatorial games, arising from work of Erdos, Selfridge, and Spencer, and we propose their use as environments for evaluating and comparing different approaches to reinforcement learning. These games have a number of appealing features: they are challenging for current learning approaches, but they form (i) a low-dimensional, simply parametrized environment where (ii) there is a linear closed form solution for optimal behavior from any state, and (iii) the difficulty of the game can be tuned by changing environment parameters in an interpretable way. We use these Erdos-Selfridge-Spencer games not only to compare different algorithms, but test for generalization, make comparisons to supervised learning, analyse multiagent play, and even develop a self play algorithm. Code can be found at: this https URL

研究动机与目标

• 为解决缺乏具有完全表征最优行为的环境以诊断深度强化学习（DRL）算法的问题。
• 提供一个组合博弈家族，具备可解释、可调节的难度，以及最优策略的已知线性闭式解。
• 在最优行为可解析处理的环境中，评估DRL的性能、泛化能力以及多智能体动力学。
• 将DRL方法（包括监督学习基线和自博弈算法）与最优行为的基准进行比较。
• 开发并测试一种在ESS游戏环境中实现近似最优性能的自博弈算法。

提出的方法

• 作者定义了一类受Erdös、Selfridge和Spencer启发的组合博弈，玩家轮流选择元素以避免完成一个获胜集合。
• 该环境为低维，并通过游戏规模和获胜集合结构进行参数化，从而可系统性地调节难度。
• 最优策略通过博弈论分析得出线性闭式解，使学习策略与之进行精确比较成为可能。
• DRL智能体使用深度Q网络或策略梯度方法进行训练，性能与解析得出的最优策略进行对比评估。
• 自博弈通过智能体相互对战实现，策略更新基于自博弈的结果。
• 通过在不同参数配置的未见配置上评估在某一组配置上训练的策略，测试泛化能力。

实验结果

研究问题

• RQ1 深度强化学习算法是否能够在具有已知解析解的组合博弈中学习到最优策略？
• RQ2 当在部分配置上进行训练时，DRL智能体在不同游戏参数化之间的泛化能力如何？
• RQ3 当最优策略已知时，DRL的性能与监督学习相比如何？
• RQ4 自博弈算法是否能在该环境中收敛到最优或近似最优行为？
• RQ5 通过将学习到的策略与解析推导出的最优策略进行比较，可以对DRL行为获得哪些洞见？

主要发现

• 当使用适当的算法进行训练时，深度强化学习智能体能够在Erdös-Selfridge-Spencer游戏中成功学习到近似最优策略。
• 自博弈训练生成的策略能够达到接近解析推导出的最优解的性能。
• 除非训练分布被精心设计以覆盖测试分布，否则在不同游戏参数化之间的泛化能力有限。
• 当最优策略可用于模仿时，模仿最优策略的监督学习基线优于标准DRL智能体。
• 解析解使DRL失败的精确诊断成为可能，例如次优探索或策略崩溃，这些在更复杂环境中难以检测。
• 该环境成功揭示了当前DRL方法的局限性，例如对超参数的敏感性以及零样本泛化能力差。