[论文解读] Dynamic Regret of Policy Optimization in Non-stationary Environments

Yingjie Fei, Zhuoran Yang+2 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Bandit Algorithms Research参考文献 60被引用 11

一句话总结

本文提出了 POWER 和 POWER++，这两种是针对具有对抗性奖励和未知转移核的非平稳环境中的强化学习的无模型策略优化算法。它建立了能够自适应匹配缓慢变化环境中近似最优静态遗憾的动态遗憾边界，将遗憾分解为探索和适应两部分，其中 POWER++ 通过主动预测改进了适应性。

ABSTRACT

We consider reinforcement learning (RL) in episodic MDPs with adversarial full-information reward feedback and unknown fixed transition kernels. We propose two model-free policy optimization algorithms, POWER and POWER++, and establish guarantees for their dynamic regret. Compared with the classical notion of static regret, dynamic regret is a stronger notion as it explicitly accounts for the non-stationarity of environments. The dynamic regret attained by the proposed algorithms interpolates between different regimes of non-stationarity, and moreover satisfies a notion of adaptive (near-)optimality, in the sense that it matches the (near-)optimal static regret under slow-changing environments. The dynamic regret bound features two components, one arising from exploration, which deals with the uncertainty of transition kernels, and the other arising from adaptation, which deals with non-stationary environments. Specifically, we show that POWER++ improves over POWER on the second component of the dynamic regret by actively adapting to non-stationarity through prediction. To the best of our knowledge, our work is the first dynamic regret analysis of model-free RL algorithms in non-stationary environments.

研究动机与目标

• 为了解决在单一固定策略不足以应对的非平稳环境中静态遗憾的局限性。
• 设计无模型策略优化算法，以适应具有对抗性全信息反馈的周期性马尔可夫决策过程中的变化奖励函数。
• 建立能够跨越不同非平稳性程度的动态遗憾边界，包括近乎平稳的情形。
• 通过在环境变化缓慢时匹配已知的近似最优静态遗憾边界，证明自适应近似最优性。
• 首次为非平稳环境中无模型强化学习算法提供动态遗憾分析。

提出的方法

• 提出 POWER 和 POWER++，两种适用于具有对抗性奖励和未知转移核的周期性马尔可夫决策过程的无模型策略优化算法。
• 将动态遗憾分解为两部分：一部分源于转移核不确定性下的探索，另一部分源于对非平稳奖励的适应。
• 在策略优化过程中采用在线镜像下降（OMD）更新，借助引理 12 和引理 13 的遗憾分解。
• 在 POWER++ 中引入主动预测，以改进遗憾边界中的适应项，降低对奖励漂移的敏感性。
• 采用时间窗口方法，结合参数化策略更新和通过正则化项 β 确定的置信区间。
• 应用性能差异边界和集中不等式来控制遗憾项，其中 α 根据 D_T 和 L H log A 自适应选择。

实验结果

研究问题

• RQ1 无模型策略优化能否实现自适应适应不同环境非平稳程度的动态遗憾边界？
• RQ2 非平稳马尔可夫决策过程中的动态遗憾与平稳设置下的静态遗憾相比如何？
• RQ3 是否可以在遗憾分析中将探索与适应解耦，以指导算法设计？
• RQ4 在策略更新中引入主动预测是否能改善对变化奖励函数的适应能力？
• RQ5 在环境缓慢变化时，能否使用无模型方法实现近似最优遗憾？

主要发现

• POWER 和 POWER++ 的动态遗憾边界为 O~(√(D_T L H log A)) + C τ H² P_T，其中 D_T 衡量奖励漂移，P_T 衡量策略变化。
• 在近乎平稳环境中，遗憾边界简化为 O~(T^{1/2})，与已知的近似最优静态遗憾边界一致。
• POWER++ 通过主动预测改进了遗憾中的适应项，降低了对奖励漂移的依赖。
• 遗憾分解清晰地将探索（源于转移不确定性）与适应（源于非平稳奖励）分离。
• 该分析首次为具有对抗性奖励的非平稳环境中无模型强化学习算法建立了动态遗憾边界。
• 边界具有自适应性且近乎最优，遗憾表达式中包含通用常数。