[论文解读] Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection

Lucas N. Alegre, Ana L. C. Bazzan+1 more|arXiv (Cornell University)|May 19, 2021

Data Stream Mining Techniques被引用 5

一句话总结

本文提出 MBCD，一种基于模型的强化学习算法，利用在线高置信度变化点检测技术，在具有连续状态和动作的非平稳环境中实现快速适应。通过在最小延迟下检测上下文变化并控制误报率，MBCD 在性能上超越了最先进的无模型、基于模型及元学习方法——尤其在无需预训练或面对分布外上下文的完全在线设置中表现更优。

ABSTRACT

Non-stationary environments are challenging for reinforcement learning algorithms. If the state transition and/or reward functions change based on latent factors, the agent is effectively tasked with optimizing a behavior that maximizes performance over a possibly infinite random sequence of Markov Decision Processes (MDPs), each of which drawn from some unknown distribution. We call each such MDP a context. Most related works make strong assumptions such as knowledge about the distribution over contexts, the existence of pre-training phases, or a priori knowledge about the number, sequence, or boundaries between contexts. We introduce an algorithm that efficiently learns policies in non-stationary environments. It analyzes a possibly infinite stream of data and computes, in real-time, high-confidence change-point detection statistics that reflect whether novel, specialized policies need to be created and deployed to tackle novel contexts, or whether previously-optimized ones might be reused. We show that (i) this algorithm minimizes the delay until unforeseen changes to a context are detected, thereby allowing for rapid responses; and (ii) it bounds the rate of false alarm, which is important in order to minimize regret. Our method constructs a mixture model composed of a (possibly infinite) ensemble of probabilistic dynamics predictors that model the different modes of the distribution over underlying latent MDPs. We evaluate our algorithm on high-dimensional continuous reinforcement learning problems and show that it outperforms state-of-the-art (model-free and model-based) RL algorithms, as well as state-of-the-art meta-learning methods specially designed to deal with non-stationarity.

研究动机与目标

• 解决在马尔可夫决策过程（MDP）动态和奖励因未知潜在因素而不可预测变化的非平稳环境中高效策略学习的挑战。
• 以最小延迟检测上下文变化，同时保持低误报率，从而实现专用策略的快速部署。
• 在完全在线设置中有效运行，无需预训练阶段，也无需事先了解上下文分布或边界信息。
• 在高维连续控制任务的非平稳环境下，超越现有无模型、基于模型及元学习强化学习算法。
• 在遇到训练期间未见过的新分布外上下文时，实现样本高效的适应。

提出的方法

• 该算法构建一个概率动态预测器的混合模型，每个预测器专门针对未知 MDP 分布中的一种特定上下文模式。
• 它采用在线高置信度变化点检测统计量，实时监控预测误差并检测系统动态的变化。
• 变化点检测基于序列假设检验与置信阈值，确保低误报率的同时最小化检测延迟。
• 当检测到变化时，系统会触发新上下文特定策略的创建与部署，并在适当情况下重用先前优化的模型。
• 该方法无需预训练阶段，可动态适应来自未知分布的任意不同上下文。
• 它结合基于模型的规划与上下文感知策略适应，实现对环境变化的快速响应。

实验结果

研究问题

• RQ1 与现有方法相比，在非平稳 MDP 中，在线变化点检测是否能实现更快、更可靠的上下文变化检测？
• RQ2 所提出方法在无预训练阶段的完全在线设置下表现如何？
• RQ3 当面对训练期间未见过的分布外上下文时，该算法能否保持高性能？
• RQ4 在非平稳连续控制任务中，该方法与最先进无模型和基于模型的强化学习算法相比表现如何？
• RQ5 该方法在多大程度上通过最小化检测延迟和误报率来减少遗憾？

主要发现

• 在非平稳迷宫环境中，MBCD 即使在无预训练阶段的情况下，也能在不同上下文间保持近似恒定且高水平的性能，而最先进的强化学习算法如 MBPO 和 SAC 显著下降。
• 在完全在线设置（无预训练）下，MBCD 超过 MBPO 和 SAC，展现出在实时适应中的鲁棒性与适应能力。
• 在测试未在训练中见过的分布外上下文时，MBCD 表现平稳，仅经历短暂适应期，而元学习方法如 ReBAL 和 GrBAL 则出现灾难性失败。
• 该算法在保持低误报率的同时实现最小检测延迟，从而能够快速响应环境变化。
• MBCD 显著优于专为非平稳性设计的元学习方法，尤其当测试分布与训练分布不同时表现更优。
• 该方法实现了在非平稳环境中无需事先了解上下文边界或分布信息的高效、持续在线学习。