[论文解读] Exploration--Exploitation in MDPs with Options

Ronan Fruit, Alessandro Lazaric|arXiv (Cornell University)|Mar 25, 2017

Reinforcement Learning in Robotics被引用 17

一句话总结

本文首次对马尔可夫决策过程（MDPs）中使用选项的强化学习进行了遗憾分析，表明使用时序扩展动作（选项）可显著降低遗憾，相比使用原始动作的学习。通过将基于选项的学习建模为半马尔可夫决策过程（SMDP），作者推导了UCRL变体的遗憾上下界，证明设计良好的选项可显著提升高维或分层任务中的样本效率。

ABSTRACT

While a large body of empirical results show that temporally-extended actions and options may significantly affect the learning performance of an agent, the theoretical understanding of how and when options can be beneficial in online reinforcement learning is relatively limited. In this paper, we derive an upper and lower bound on the regret of a variant of UCRL using options. While we first analyze the algorithm in the general case of semi-Markov decision processes (SMDPs), we show how these results can be translated to the specific case of MDPs with options and we illustrate simple scenarios in which the regret of learning with options can be extit{provably} much smaller than the regret suffered when learning with primitive actions.

研究动机与目标

• 理论理解在在线强化学习中，选项在何种条件下以及如何提升学习性能。
• 解决尽管有强有力的实证证据表明其优势，但选项型RL缺乏遗憾分析的问题。
• 弥合MDPs中选项的实证成功与理论依据之间的差距。
• 为建模基于选项学习的半马尔可夫决策过程（SMDPs）中的UCRL变体推导遗憾边界。
• 将SMDP的遗憾边界转化为MDP中使用选项与使用原始动作相比遗憾减少的条件。

提出的方法

• 将选项框架形式化为半马尔可夫决策过程（SMDP），其中选项诱导具有随机停留时间与累积奖励的转移。
• 将UCRL算法适配至SMDPs，通过过渡和奖励估计的置信区间保持探索与利用的平衡。
• 在奖励和停留时间服从次高斯尾部假设的条件下，使用子高斯尾部假设推导SMDP-UCRL算法的遗憾上界。
• 建立遗憾的下界，以刻画使用选项学习的根本限制。
• 将SMDP的遗憾边界转化为MDP中使用选项的遗憾边界，识别出相比原始动作可减少遗憾的条件。
• 利用鞅理论和大数定律分析遗憾比值的渐近行为。

实验结果

研究问题

• RQ1 在何种条件下，与使用原始动作学习相比，选项可减少在线强化学习中的遗憾？
• RQ2 选项的结构——特别是其期望停留时间与可达性——如何影响以遗憾衡量的学习效率？
• RQ3 当使用选项而非原始动作时，是否可以为UCRL风格算法推导出理论遗憾边界？
• RQ4 由选项诱导的SMDP的直径与学习算法遗憾之间存在何种关系？
• RQ5 对奖励和停留时间的次高斯假设如何影响基于选项学习的渐近遗憾行为？

主要发现

• 使用选项学习的遗憾可被严格证明小于使用原始动作学习的遗憾，尤其当选项的期望停留时间较短且可达性较高时。
• 对于有界奖励和停留时间，使用选项与不使用选项的遗憾比的渐近上界为 $ \frac{1}{\sqrt{\tau_{\min}}}\left(1 + \frac{T_{\max}}{D\sqrt{S}}\right) $，其中 $ \tau_{\min} $ 为最小期望停留时间。
• 理论上的遗憾比上界与实验中的实证结果高度吻合，验证了该边界作为性能增益可靠代理的有效性。
• 比值 $ \frac{T_n}{n} $（表示每个选项步长的平均原始动作步数）以概率几乎必然收敛于 $ \tau_{\min} $ 与 $ \tau_{\max} $ 之间，确保长期学习的稳定性。
• 在停留时间具有高方差或重尾分布的情境下，遗憾可能不会改善，原因在于置信区间中存在 $ \sqrt{\log n} $ 的缩放项，凸显了选项设计的重要性。
• 结果表明，当选项能加速向目标的推进时，其收益最大，从而减少每个有效决策所需的原始动作步数。