[论文解读] Hierarchial Reinforcement Learning in StarCraft II with Human Expertise in Subgoals Selection.

Xinyi Xu, Tiancheng Huang+3 more|arXiv (Cornell University)|Aug 8, 2020

Reinforcement Learning in Robotics参考文献 28被引用 5

一句话总结

本文提出了一种分层强化学习框架，通过将人类专业知识融入子目标选择，提升了复杂环境中样本效率和可解释性。通过在类似课程的结构中利用人类设计的子目标和经验回放，该方法在《星际争霸II》小游戏中的表现优于传统强化学习，降低了探索成本并增强了行为透明度。

ABSTRACT

This work is inspired by recent advances in hierarchical reinforcement learning (HRL) (Barto and Mahadevan 2003; Hengst 2010), and improvements in learning efficiency from heuristic-based subgoal selection, experience replay (Lin 1993; Andrychowicz et al. 2017), and task-based curriculum learning (Bengio et al. 2009; Zaremba and Sutskever 2014). We propose a new method to integrate HRL, experience replay and effective subgoal selection through an implicit curriculum design based on human expertise to support sample-efficient learning and enhance interpretability of the agent's behavior. Human expertise remains indispensable in many areas such as medicine (Buch, Ahmed, and Maruthappu 2018) and law (Cath 2018), where interpretability, explainability and transparency are crucial in the decision making process, for ethical and legal reasons. Our method simplifies the complex task sets for achieving the overall objectives by decomposing them into subgoals at different levels of abstraction. Incorporating relevant subjective knowledge also significantly reduces the computational resources spent in exploration for RL, especially in high speed, changing, and complex environments where the transition dynamics cannot be effectively learned and modelled in a short time. Experimental results in two StarCraft II (SC2) (Vinyals et al. 2017) minigames demonstrate that our method can achieve better sample efficiency than flat and end-to-end RL methods, and provides an effective method for explaining the agent's performance.

研究动机与目标

• 解决复杂、高维环境中强化学习样本效率低下的挑战。
• 通过整合人类专业知识，提升智能体决策过程的可解释性和透明度。
• 通过基于人类知识的结构化子目标分解，降低计算探索成本。
• 通过整合经验回放和隐式课程设计，提升学习效率。
• 在《星际争霸II》等真实复杂环境中验证方法的有效性。

提出的方法

• 该方法采用分层强化学习（HRL）在多个抽象层次上将复杂任务分解为子目标。
• 利用人类专业知识定义有意义且高效的子目标，减少对随机探索的依赖。
• 通过基于人类提供的启发式方法优先排序子目标，建立隐式课程，引导智能体经历结构化的学习阶段。
• 整合经验回放以稳定学习过程，并提升分层决策阶段的数据利用效率。
• 将HRL与课程学习原则相结合，利用人类知识塑造学习轨迹。
• 子目标选择并非从零开始学习，而是由专家输入引导，从而简化策略搜索空间。

实验结果

研究问题

• RQ1 人类专业知识在子目标选择中是否能提升分层强化学习的样本效率？
• RQ2 整合人类设计的子目标在多大程度上提升了智能体行为的可解释性？
• RQ3 经验回放在所提出的HRL框架中在多大程度上增强了学习稳定性？
• RQ4 基于人类知识的隐式课程是否在复杂环境中优于随机策略或端到端强化学习？
• RQ5 该方法是否能降低《星际争霸II》等探索密集型环境中的计算成本？

主要发现

• 在《星际争霸II》小游戏中，所提方法在样本效率方面优于平坦式和端到端强化学习方法。
• 将人类专业知识融入子目标选择显著减轻了训练过程中的探索负担。
• 由于子目标的结构化、人类引导的层级设计，智能体的行为变得更加可解释和透明。
• 经验回放有助于提升分层框架中的学习稳定性并改善数据利用效率。
• 基于人类知识的隐式课程可实现更快收敛，并在复杂环境中实现更有效的学习。
• 该方法在高速、动态环境中表现出有效性，其中基于模型的规划方法不可行。