[论文解读] Improved Corruption Robust Algorithms for Episodic Reinforcement Learning

Yifang Chen, Simon S. Du+1 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

本文提出了新颖的抗污染强化学习算法，用于连续型强化学习，通过依赖细粒度的污染程度（奖励污染和转移污染）而非仅被污染的episode数量，实现了严格改进的遗憾界。该工作引入了一种子程序（reward-free exploration subroutine）和两种元算法，实现了对污染水平的加法依赖，这是在表格型强化学习中首次实现此类结果，并具备可证明的最优性。

ABSTRACT

We study episodic reinforcement learning under unknown adversarial corruptions in both the rewards and the transition probabilities of the underlying system. We propose new algorithms which, compared to the existing results in (Lykouris et al., 2020), achieve strictly better regret bounds in terms of total corruptions for the tabular setting. To be specific, firstly, our regret bounds depend on more precise numerical values of total rewards corruptions and transition corruptions, instead of only on the total number of corrupted episodes. Secondly, our regret bounds are the first of their kind in the reinforcement learning setting to have the number of corruptions show up additively with respect to $\min\{\sqrt{T}, ext{PolicyGapComplexity}\}$ rather than multiplicatively. Our results follow from a general algorithmic framework that combines corruption-robust policy elimination meta-algorithms, and plug-in reward-free exploration sub-algorithms. Replacing the meta-algorithm or sub-algorithm may extend the framework to address other corrupted settings with potentially more structure.

研究动机与目标

• 解决先前工作在连续型强化学习中对抗性污染鲁棒性方面的局限性。
• 开发依赖于奖励和转移污染精确幅度而非仅被污染episode数量的算法。
• 实现对污染水平的加法依赖而非乘法依赖的遗憾界，解决该领域的一个开放问题。
• 提供一个结合抗污染策略消除与无奖励探索的通用框架，以增强适用性。

提出的方法

• 提出 EstAll，一种抗污染的无奖励探索算法，可返回 (ε + (C^p + C^r)ε²)-接近的策略价值估计。
• 引入 BARBAR-RL，一种使用 EstAll 的元算法，在非自适应对手下实现 Õ(min{√T, PolicyGapComplexity} + (1 + C^p)(C^p + C^r)) 的遗憾。
• 开发 BrutePolicyElimination-RL，一种在自适应对手下（对手在污染前观察策略）实现 Õ(√T + (C^p + C^r)²) 遗憾的元算法。
• 采用通用框架，结合抗污染元算法与插件式无奖励探索子程序，以提升鲁棒性。
• 在无奖励探索阶段，使用状态-动作访问频率和Q值估计误差作为核心估计器。
• 通过转移核和奖励函数之间的总变差距离，对值函数差异应用理论边界。

实验结果

研究问题

• RQ1 是否可以将连续型强化学习中的遗憾界设计为对污染幅度的加法依赖，而非乘法依赖？
• RQ2 在未知被污染episode数量的情况下，是否可能在表格型强化学习中实现对总污染量 C^p 和 C^r 的加法依赖？
• RQ3 是否可以使无奖励探索在奖励和转移均受对抗性污染时保持鲁棒？
• RQ4 是否可以使类似策略消除的算法在污染存在下实现实例相关遗憾界？
• RQ5 该框架是否可扩展至其他具有额外结构假设的污染强化学习设置？

主要发现

• 所提出的 BARBAR-RL 元算法在非自适应对手下实现 Õ(min{√T, PolicyGapComplexity} + (1 + C^p)(C^p + C^r)) 的遗憾，对污染幅度具有加法依赖。
• BrutePolicyElimination-RL 元算法在自适应对手下实现 Õ(√T + (C^p + C^r)²) 的遗憾，是表格型强化学习中首次实现对污染水平的加法依赖。
• EstAll 在 C^p ≤ Õ(1/ε) 时，以 Õ(log|Π|/ε²) 的样本复杂度确保 (ε + (C^p + C^r)ε²)-接近的策略价值估计，否则会发出污染水平信号。
• 遗憾界是首次依赖于实际的奖励污染幅度 (C^r) 和转移污染幅度 (C^p)，而非仅被污染的episode数量。
• 该框架表明，在表格型强化学习中实现加法污染依赖是可行的，解决了 Lykouris 等人（2020）提出的一个开放问题。
• 将 EstAll 替换为标准的无奖励探索算法会导致更差的 T 依赖性，表明 EstAll 在污染环境下的优越鲁棒性。