[論文レビュー] Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods

Yi Wan, Ali Rahimi-Kalahroudi+4 more|PolyPublie (École Polytechnique de Montréal)|Apr 25, 2022

Greenhouse Technology and Climate Control被引用数 4

ひとこと要約

本稿では、モデルベース強化学習（MBRL）における適応性を評価するための改善版LoCA設定を導入し、PlaNet や DreamerV2 といった代表的な深層MBRL手法が局所的な環境変化に対して効果的に適応できないことを示している。特に、深刻な忘却（catastrophic forgetting）とモデル近似の問題を含む4つの失敗モードを特定することで、修正された線形Dynaが有効な適応を達成できる一方、非線形バージョンは未解決の失敗モードのため困難であることが明らかになった。

ABSTRACT

In recent years, a growing number of deep model-based reinforcement learning (RL) methods have been introduced. The interest in deep model-based RL is not surprising, given its many potential benefits, such as higher sample efficiency and the potential for fast adaption to changes in the environment. However, we demonstrate, using an improved version of the recently introduced Local Change Adaptation (LoCA) setup, that well-known model-based methods such as PlaNet and DreamerV2 perform poorly in their ability to adapt to local environmental changes. Combined with prior work that made a similar observation about the other popular model-based method, MuZero, a trend appears to emerge, suggesting that current deep model-based methods have serious limitations. We dive deeper into the causes of this poor performance, by identifying elements that hurt adaptive behavior and linking these to underlying techniques frequently used in deep model-based RL. We empirically validate these insights in the case of linear function approximation by demonstrating that a modified version of linear Dyna achieves effective adaptation to local changes. Furthermore, we provide detailed insights into the challenges of building an adaptive nonlinear model-based method, by experimenting with a nonlinear version of Dyna.

研究の動機と目的

• 連続制御設定における局所的環境変化に対する深層モデルベース強化学習（MBRL）手法の適応性を評価すること。
• 近似（非表形式）MBRLアルゴリズムにおける有効な適応を妨げる根本的な失敗モードを特定すること。
• MBRLの適応性を評価するためのより強固でハイパーパramータに敏感でない、Local Change Adaptation（LoCA）設定の改良と検証を行うこと。
• スパarsity報酬と確率的環境において、線形Dynaの単純な修正が有効な適応を達成できることを示すこと。
• 非線形モデルベース手法における適応性の達成に課題が生じる理由、特に深刻な忘却と近似誤差に起因する理由を調査すること。

提案手法

• 元の設定を簡素化し、ハイパーパramータへの感受性を低減し、確率的環境への適用を可能にする、改善版LoCA設定を提案する。
• 2段階のLoCA実験を採用：最初にタスクAで学習（終了状態T1）、次に同じ環境で新しい終了状態T2を持つタスクBに適応する能力をテストする。
• 関数近似、経験再生、モデルベース計画を組み合わせた、修正された線形Dynaアルゴリズムを用いて、局所的変化への迅速な適応を実現する。
• 改善版LoCA設定下で、MuJoCo Reacher環境における深層MBRL手法（PlaNet、DreamerV2、MuZero）を実験的に評価する。
• 非線形Dynaにおける失敗モードを分析するため、非線形モデルベースエージェントを訓練し、類似した構成を用いても適応不能であることを観察する。
• 失敗モードを特定したアルゴリズム的要因と関連付ける：モデル近似誤差、不十分な経験再生、非表形式設定における旧知識の保持不能性、深刻な忘却。

実験結果

リサーチクエスチョン

• RQ1 PlaNet や DreamerV2 といった現代的な深層モデルベースRL手法が、LoCAベンチマークで測定された局所的環境変化に対して、実際に効果的に適応できるか？
• RQ2 近似モデルベースRLアルゴリズムにおける適応行動を妨げる主な失敗モードは何か？
• RQ3 修正された線形Dynaアルゴリズムは、挑戦的で確率的かつ報酬がスパarsityな環境でも有効な適応を達成できるか？
• RQ4 非線形モデルベース手法が、成功した線形バージョンと類似した構成を用いているにもかかわらず、LoCA設定で適応に失敗する理由は何か？
• RQ5 深刻な忘却は、継続的学習シナリオにおける深層MBRLエージェントの適応性をどの程度制限するか？

主な発見

• 改善版LoCA設定下で、PlaNet と DreamerV2 は MuJoCo Reacherドメインにおける局所的環境変化に対して顕著に適応性が低いことが示された。
• 改善版LoCA設定は、元のバージョンよりも単純で、ハイパーパramータへの感受性が低く、確率的要因に対してもより頑健である。
• 修正された線形Dynaアルゴリズムは、報酬がスパarsityで確率的な環境でも有効な適応を達成でき、適切な設計により適応性が実現可能であることを示した。
• 非線形Dyna Qの適応不能は、主に深刻な忘却とモデル近似誤差に起因しており、非線形関数近似においてこれらの問題が悪化する。
• 4つの主要な失敗モードが特定された：(1) モデル近似誤差、(2) 経験再生の不十分さ、(3) 旧知識の保持不能、(4) 深刻な忘却—その中で最も克服が難しいのは後者である。
• MuZeroに関する先行研究と併せると、現在の深層MBRL手法に根本的な制限があると考えられる：局所的変化への迅速な適応が困難であり、モデルベース学習の核心的利点を損なう。