[論文レビュー] Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection

Lucas N. Alegre, Ana L. C. Bazzan+1 more|arXiv (Cornell University)|May 19, 2021

Data Stream Mining Techniques被引用数 5

ひとこと要約

この論文は、連続的な状態と行動を伴う非ステーショナリィ環境において、迅速な適応を可能にする、オンラインで高信頼性の変化点検出を用いたモデルベース強化学習アルゴリズムMBCDを提案する。予測誤差の監視とリアルタイムでのシステムダイナミクスのシフト検出を通じて、最小限の遅延で変化を検出し、誤報率を低く抑える。MBCDは、事前学習を必要とせず、分布外の文脈に対しても、最先端のモデルフリー、モデルベース、メタラーニング手法を上回る性能を発揮する。

ABSTRACT

Non-stationary environments are challenging for reinforcement learning algorithms. If the state transition and/or reward functions change based on latent factors, the agent is effectively tasked with optimizing a behavior that maximizes performance over a possibly infinite random sequence of Markov Decision Processes (MDPs), each of which drawn from some unknown distribution. We call each such MDP a context. Most related works make strong assumptions such as knowledge about the distribution over contexts, the existence of pre-training phases, or a priori knowledge about the number, sequence, or boundaries between contexts. We introduce an algorithm that efficiently learns policies in non-stationary environments. It analyzes a possibly infinite stream of data and computes, in real-time, high-confidence change-point detection statistics that reflect whether novel, specialized policies need to be created and deployed to tackle novel contexts, or whether previously-optimized ones might be reused. We show that (i) this algorithm minimizes the delay until unforeseen changes to a context are detected, thereby allowing for rapid responses; and (ii) it bounds the rate of false alarm, which is important in order to minimize regret. Our method constructs a mixture model composed of a (possibly infinite) ensemble of probabilistic dynamics predictors that model the different modes of the distribution over underlying latent MDPs. We evaluate our algorithm on high-dimensional continuous reinforcement learning problems and show that it outperforms state-of-the-art (model-free and model-based) RL algorithms, as well as state-of-the-art meta-learning methods specially designed to deal with non-stationarity.

研究の動機と目的

• 未知の潜在要因によって予測不能に変化するMDPのダイナミクスと報酬の環境における効率的なポリシー学習の課題に対処すること。
• 変化を最小限の遅延で検出し、誤報率を低く保ちながら、特化したポリシーの即時適用を可能にすること。
• 事前学習フェーズや文脈分布・境界の事前知識を必要とせず、完全にオンラインな設定でも効果的に動作すること。
• 非ステーショナリィな状況下における高次元連続制御タスクにおいて、既存のモデルフリー、モデルベース、メタラーニングRLアルゴリズムを上回ること。
• 訓練時に見られなかった新しい分布外の文脈に直面した際の、サンプル効率の高い適応を可能にすること。

提案手法

• アルゴリズムは、未知のMDP分布における異なる文脈モードに特化した、確率的ダイナミクス予測子の混合モデルを構築する。
• 予測誤差の監視に、オンラインで高信頼性の変化点検出統計量を用い、リアルタイムでのシステムダイナミクスの変化を検出する。
• 変化点検出は、信頼水準を設定した逐次仮説検定に基づくもので、誤報率を低く抑えつつ検出遅延を最小限に抑える。
• 変化が検出された際には、新しい文脈特化型ポリシーの作成とデプロイメントをトリガーし、適切な場合は事前に最適化されたモデルを再利用する。
• 事前学習フェーズを必要とせず、未知の分布から任意に異なる文脈に動的に適応する。
• モデルベース計画と文脈に配慮したポリシー適応を組み合わせることで、環境の変化に迅速に対応できる。

実験結果

リサーチクエスチョン

• RQ1 オンラインの変化点検出は、従来の手法と比較して、非ステーショナリィMDPにおける文脈変化の検出をより高速かつ信頼性高く可能にするか？
• RQ2 本手法は、事前学習フェーズを一切行わない完全なオンライン設定でも効果を発揮するか？
• RQ3 訓練時に見られなかった分布外の文脈に直面した場合、本手法は高い性能を維持できるか？
• RQ4 本手法は、非ステーショナリィな連続制御タスクにおいて、最先端のモデルフリーおよびモデルベースRLアルゴリズムと比較してどのように性能を発揮するか？
• RQ5 検出遅延と誤報の両方を最小限に抑えることで、本手法はレギュレートをどの程度低減できるか？

主な発見

• MBCDは、事前学習フェーズがなくても、非ステーショナリィな迷路領域において、変化する文脈に対してほぼ一定かつ高い性能を達成する。一方、MBPO や SAC といった最先端のRLアルゴリズムは著しく性能を低下させる。
• 完全にオンラインな設定（事前学習なし）において、MBCDはMBPO や SAC を上回り、リアルタイムでの適応性と頑健性を示す。
• 訓練時に見られなかった分布外の文脈でテストした際、MBCDは短期間の適応期間で滑らかに性能を低下させ、メタラーニング手法（ReBAL や GrBAL）が崩壊的に失敗するのとは対照的である。
• 誤報率を低く保ちつつ、最小限の検出遅延を達成しており、環境の変化に迅速に対応できる。
• 訓練分布とは異なるテスト分布においても、メタラーニング手法を著しく上回り、特に非ステーショナリィな状況下での優位性を示す。
• 本手法は、文脈境界や分布の事前知識を必要とせず、非ステーショナリィ環境において効率的で継続的なオンライン学習を可能にする。