[论文解读] Beyond No Regret: Instance-Dependent PAC Reinforcement Learning

Andrew Wagenmaker, Max Simchowitz+1 more|arXiv (Cornell University)|Aug 5, 2021

Advanced Bandit Algorithms Research参考文献 36被引用 4

一句话总结

本文为PAC表格强化学习提出了一种新的实例相关样本复杂度度量——间隙访问复杂度（gap-visitation complexity），并提出了Moca算法——一种基于规划的方法，通过实现激进探索，几乎达到最小最大最优的样本复杂度。研究证明，低 regret 算法无法实现该复杂度，揭示了最小化 regret 与实现实例最优策略识别之间的根本权衡。

ABSTRACT

The theory of reinforcement learning has focused on two fundamental problems: achieving low regret, and identifying $ε$-optimal policies. While a simple reduction allows one to apply a low-regret algorithm to obtain an $ε$-optimal policy and achieve the worst-case optimal rate, it is unknown whether low-regret algorithms can obtain the instance-optimal rate for policy identification. We show this is not possible -- there exists a fundamental tradeoff between achieving low regret and identifying an $ε$-optimal policy at the instance-optimal rate. Motivated by our negative finding, we propose a new measure of instance-dependent sample complexity for PAC tabular reinforcement learning which explicitly accounts for the attainable state visitation distributions in the underlying MDP. We then propose and analyze a novel, planning-based algorithm which attains this sample complexity -- yielding a complexity which scales with the suboptimality gaps and the "reachability" of a state. We show our algorithm is nearly minimax optimal, and on several examples that our instance-dependent sample complexity offers significant improvements over worst-case bounds.

研究动机与目标

• 探究从低 regret 算法出发的在线到批量转换是否能在非生成性、表格型PAC强化学习中实现紧致的实例相关保证。
• 识别乐观、最小化 regret 的算法在实现策略识别的实例最优样本复杂度方面的局限性。
• 提出一种新的实例相关复杂度度量，以反映马尔可夫决策过程（MDP）中状态访问分布与次优性差距的相互作用。
• 设计并分析一种基于规划的算法，以实现所提出的实例相关复杂度边界。
• 证明在表格型MDP中，为实现最优策略识别，需要采用更激进的、非乐观的探索策略。

提出的方法

• 提出一种新颖的实例相关复杂度度量，称为间隙访问复杂度，定义为对步骤、状态和动作的总和，涉及访问概率、次优性差距和可达性。
• 引入Moca算法，一种基于规划的方法，通过激进探索快速到达感兴趣状态，结合蒙特卡洛估计与动作消除策略，以识别次优动作。
• 采用非乐观探索策略，优先到达并评估潜在次优状态，以加速策略识别。
• 使用策略的凸组合来建模状态访问分布，利用卡拉西奥多里定理（Caratheodory’s theorem）来界定所需策略的数量。
• 通过KL散度和测度变换方法应用信息论下界，推导出样本复杂度的根本限制。
• 证明算法的样本复杂度呈 Õ(C(M,ε)·log(1/δ)) 的增长，其中 C(M,ε) 为间隙访问复杂度，并表明该复杂度几乎达到最小最大最优。

实验结果

研究问题

• RQ1 低 regret 算法能否在表格型MDP中实现PAC策略识别的实例最优样本复杂度？
• RQ2 在实例最优速率下，实现低 regret 与识别 ϵ-最优策略之间存在何种根本权衡？
• RQ3 PAC强化学习中是否存在一种新的样本复杂度度量，能够捕捉次优性差距与状态可达性之间的相互作用？
• RQ4 非乐观、基于规划的算法是否能在实例相关样本复杂度方面优于乐观、最小化 regret 的方法？
• RQ5 在表格型MDP中，δ-正确策略识别的样本复杂度存在何种根本限制？

主要发现

• 间隙访问复杂度度量 C(M,ε) 不超过最小最大最优PAC速率，并在某些情况下与实例最优复杂度完全匹配。
• Moca算法以 Õ(C(M,ε)·log(1/δ)) 个 episode 实现 δ-正确策略识别，使其几乎达到最小最大最优。
• 低 regret 算法无法实现所提出的间隙访问复杂度，且在样本复杂度方面可能表现任意差，尤其当次优动作极少被访问时。
• 在激励性示例中，Moca在 Õ(1/Δ²) 个 episode 内识别出 s₂ 状态的最优动作，而低 regret 算法则需要 Ω(1/(pΔ²)) 个 episode，表明当 p 较小时可实现任意程度的改进。
• 下界表明，任何 δ-正确算法必须满足 E[τ] ≥ (1/(6·gap(s,a)²·w^π_h(s,a)))·log(1/(2.4δ)) 对所有 s,a 成立，确立了样本效率的根本限制。
• 分析证实，最优策略并不总是能通过乐观探索获得，而非乐观、关注可达性的规划方法对于实现实例最优学习至关重要。