[论文解读] Exploration in Structured Reinforcement Learning

Jungseul Ok, Alexandre Proutière+1 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Bandit Algorithms Research参考文献 12被引用 12

一句话总结

本文为有限MDP中的结构化强化学习（RL）提出了问题特定的遗憾下界，表明对于Lipschitz结构MDP，遗憾随时间呈对数增长，且与状态空间和动作空间大小无关。本文提出DEL（定向探索学习）算法，通过利用结构特性实现这些根本性下界，其简化变体在无需奖励函数先验知识的情况下仍保持最优遗憾增长。

ABSTRACT

We address reinforcement learning problems with finite state and action spaces where the underlying MDP has some known structure that could be potentially exploited to minimize the exploration rates of suboptimal (state, action) pairs. For any arbitrary structure, we derive problem-specific regret lower bounds satisfied by any learning algorithm. These lower bounds are made explicit for unstructured MDPs and for those whose transition probabilities and average reward functions are Lipschitz continuous w.r.t. the state and action. For Lipschitz MDPs, the bounds are shown not to scale with the sizes $S$ and $A$ of the state and action spaces, i.e., they are smaller than $c\log T$ where $T$ is the time horizon and the constant $c$ only depends on the Lipschitz structure, the span of the bias function, and the minimal action sub-optimality gap. This contrasts with unstructured MDPs where the regret lower bound typically scales as $SA\log T$. We devise DEL (Directed Exploration Learning), an algorithm that matches our regret lower bounds. We further simplify the algorithm for Lipschitz MDPs, and show that the simplified version is still able to efficiently exploit the structure.

研究动机与目标

• 推导未知动态和奖励下结构化MDP的问题特定遗憾下界。
• 分析结构特性（尤其是转移概率和奖励的Lipschitz连续性）对遗憾缩放的影响。
• 设计一种算法，通过最优平衡探索与利用来实现所推导的遗憾下界。
• 简化算法以利于实际部署，同时在结构化设置中保持最优遗憾性能。

提出的方法

• 使用信息论论证推导适用于任何已知结构MDP的问题特定遗憾下界。
• 引入DEL（定向探索学习），每轮求解一个优化问题，以基于估计偏差和次优性间隙平衡探索。
• 对于Lipschitz MDP，将DEL简化为仅需每步计算最优策略和求解一个线性规划，从而降低计算开销。
• 利用置信区间和偏差函数估计引导探索，确保仅在必要时探索次优动作。
• 采用事件分解和集中不等式证明值估计和策略选择的几乎必然收敛。
• 引入结构化探索阶段，根据估计的次优性和结构约束优先选择动作。

实验结果

研究问题

• RQ1 MDP的结构特性（如Lipschitz连续性）如何影响强化学习中遗憾的根本极限？
• RQ2 当奖励函数和动态未知时，能否为结构化MDP推导遗憾下界？
• RQ3 是否存在一种算法，可在任意结构下实现所推导的遗憾下界？
• RQ4 能否在保持结构化设置中最优遗憾缩放的前提下，对算法进行简化以利于实际使用？

主要发现

• 对于非结构化MDP，遗憾下界为 $\frac{(H+1)^2}{\delta_{\min}}SA\log T$，其中 $H$ 为偏差跨度，$\delta_{\min}$ 为最小动作次优性间隙。
• 对于Lipschitz MDP，遗憾下界为 $\frac{(H+1)^3}{\delta^2_{\min}}S_{\textnormal{lip}}A_{\textnormal{lip}}\log T$，当 $H$ 和 $\delta_{\min}$ 不随状态和动作空间大小变化时，该下界与 $S$ 和 $A$ 无关。
• DEL通过求解每轮的优化问题，平衡探索与利用，从而在任意结构化MDP中实现所推导的遗憾下界。
• 针对Lipschitz MDP的DEL简化版本仅需计算估计MDP的最优策略并每步求解一个线性规划，却仍实现相同的遗憾缩放。
• 附录中的数值实验表明，DEL在Lipschitz MDP中的遗憾不随 $S$ 和 $A$ 增大而增长，且显著优于无结构感知的算法。
• 理论分析在Burnetas和Katehakis（1997）工作的基础上，为结构化RL提供了问题特定的遗憾界，即使奖励函数未知也成立，实现了对先前工作的推广。