[论文解读] A Laplacian Framework for Option Discovery in Reinforcement Learning

Marlos C. Machado, Marc G. Bellemare+1 more|arXiv (Cornell University)|Mar 2, 2017

Reinforcement Learning in Robotics参考文献 31被引用 76

一句话总结

论文展示了如何通过引入 eigenpurposes（intrinsic rewards）并推导 eigenbehaviors，隐式定义 options，从而实现任务无关的多尺度探索 options（eigenoptions），通过 Laplacian PVFs 发现。它在 tabular domains 和 function approximation 中展示了这些思想，包括 Atari 游戏。

ABSTRACT

Representation learning and option discovery are two of the biggest challenges in reinforcement learning (RL). Proto-value functions (PVFs) are a well-known approach for representation learning in MDPs. In this paper we address the option discovery problem by showing how PVFs implicitly define options. We do it by introducing eigenpurposes, intrinsic reward functions derived from the learned representations. The options discovered from eigenpurposes traverse the principal directions of the state space. They are useful for multiple tasks because they are discovered without taking the environment's rewards into consideration. Moreover, different options act at different time scales, making them helpful for exploration. We demonstrate features of eigenpurposes in traditional tabular domains as well as in Atari 2600 games.

研究动机与目标

• 将表示学习与选项发现联系起来，显示 PVFs 间接定义了 options。
• 引入 eigenpurposes，作为从 PVFs 派生的内在奖励函数。
• 将 eigenbehaviors 定义为对每个 eigenpurpose 的最优策略，并从中推导出 eigenoptions（initiation/termination）。
• 证明 eigenoptions 能在多个领域（表格域和函数逼近）中改善探索和学习。
• 提供一种适用于大状态空间和 AMIs（如 Atari）的近似（基于样本）的 eigenoption 发现方法。

提出的方法

• 使用归一化图拉普拉斯算子来获得捕捉状态空间大尺度几何的 PVFs。
• 定义 eigenpurposes r_i^e(s,s') = e^T(phi(s') - phi(s))，其中 e 为 PVF 的特征向量，phi 为状态特征。
• 构造带有来自 eigenpurposes 的内在奖励和显式终止动作的增强 MDP M_i^e。
• 推导 eigenbehaviors 为最大化每个 eigenpurpose 的累计内在奖励的策略。
• 将 eigenoptions 形成为在存在正 Q 值的起始集合时的策略，并在对所有动作的 q^e(s, a) <= 0 时终止。
• 提供一种基于样本的方法（入射矩阵 T 与 SVD）在不需要完整邻接矩阵的情况下恢复 eigenpurposes，且可扩展到线性函数逼近。

实验结果

研究问题

• RQ1 PVFs 是否可用于在没有奖励信息的情况下自动诱导有用的、任务无关的选项 (eigenoptions)？
• RQ2 eigenoptions 是否通过在不同时间尺度上工作并在状态空间中实现易于排序，提高探索效率？
• RQ3 eigenoptions 在探索方面是否比仅依赖瓶颈的选项更有效？
• RQ4 是否可以通过基于样本的方法在函数逼近和大规模环境（如 Atari）中发现 eigenoptions？
• RQ5 少量与大量 eigenoptions 如何影响学习效率和最终性能？

主要发现

• eigenoptions 往往沿着状态空间的主方向遍历，而非专注于传统瓶颈。
• 通过 eigenpurposes 发现的选项通过实现多时间尺度和易于排序来改善探索。
• 在许多领域，eigenoptions 能加速奖励积累和学习，尽管过少可能阻碍探索。
• 仅有瓶颈的选项可能会阻碍探索，而 eigenoptions 提供了跨领域更鲁棒的探索模式。
• 一种基于样本的入射矩阵/SVD 方法可以近似 eigenoptions，并扩展到线性函数逼近，在类似 Atari 的任务中有意义的选项证据。