[論文レビュー] When to Update Your Model: Constrained Model-based Reinforcement Learning

Tianying Ji, Yu Luo+4 more|arXiv (Cornell University)|Oct 15, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、動的かつ最適なモデル更新時刻をイベント発動型メカニズムによって自動的に決定する、制約付きモデルベース強化学習アルゴリズムであるCMLOを提案する。この手法により、モデルシフト制約と性能下限値の理論的関係を確立することで、非制御的モデルシフトに起因する性能の非単調性を解消し、連続制御ベンチマークにおいて最先端手法よりも高速な学習と優れた漸近的報酬を達成する。

ABSTRACT

Designing and analyzing model-based RL (MBRL) algorithms with guaranteed monotonic improvement has been challenging, mainly due to the interdependence between policy optimization and model learning. Existing discrepancy bounds generally ignore the impacts of model shifts, and their corresponding algorithms are prone to degrade performance by drastic model updating. In this work, we first propose a novel and general theoretical scheme for a non-decreasing performance guarantee of MBRL. Our follow-up derived bounds reveal the relationship between model shifts and performance improvement. These discoveries encourage us to formulate a constrained lower-bound optimization problem to permit the monotonicity of MBRL. A further example demonstrates that learning models from a dynamically-varying number of explorations benefit the eventual returns. Motivated by these analyses, we design a simple but effective algorithm CMLO (Constrained Model-shift Lower-bound Optimization), by introducing an event-triggered mechanism that flexibly determines when to update the model. Experiments show that CMLO surpasses other state-of-the-art methods and produces a boost when various policy optimization methods are employed.

研究の動機と目的

• 交替的ポリシー更新とモデル更新における制御不能なモデルシフトが原因で生じるモデルベース強化学習における性能の非単調性という課題に取り組むこと。
• モデルシフトの制約を用いて、理論的に根拠を持つフレームワークを構築し、モデルベース強化学習における単調な改善を保証すること。
• 動的探索要件に応じて、いつモデルを更新すべきかを適応的に決定する実用的なアルゴリズムを設計すること。
• 更新ステップごとの探索回数を動的に変化させることで、モデルの精度と最終的なポリシー性能が向上することを示すこと。
• イベント発動型メカニズムが訓練コストを削減し、サンプル効率とポリシーのカバレッジを向上させる有効性を検証すること。

提案手法

• 1ステップのモデル精度とモデルシフト制約を、性能向上の下限値と理論的に結びつける新しい理論的枠組みを提案する。
• やや弱い仮定のもとで、モデルベース強化学習における単調な改善を保証するための制約付き下限最適化問題を導出する。
• モデルシフト制約の推定値に基づき、モデル更新タイミングを決定するイベント発動型メカニズムを用いた、シンプルで効果的なアルゴリズムCMLOを導入する。
• 新しいモデル学習フェーズを開始する前に、モデルシフトが事前に定義された範囲内に収まっているかを評価するトリガー条件を採用する。
• さまざまなポリシー最適化バックボーンにこのフレームワークを適用し、異なるモデルベース強化学習アーキテクチャへの汎用性を示す。
• MBPOなどの最先端手法と比較するため、6つの連続制御ベンチマークで実験的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 動的モデル更新が行われる中で、モデルベース強化学習における性能の単調な向上を理論的に保証する方法は何か？
• RQ2 モデルベース強化学習におけるモデルシフトの大きさと性能向上の関係は何か？
• RQ3 モデル更新の前に行う探索回数を動的に変化させることで、より高いモデル精度とポリシー性能が達成可能か？
• RQ4 固定間隔更新と比較して、イベント発動型モデル更新メカニズムは、サンプル効率と漸近的報酬の観点でどのように異なるか？
• RQ5 モデルシフトを制約することで、一般化性能が向上し、未十分に探索されたデータへの過剰適合を防げる程度はどの程度か？

主な発見

• CMLOは、6つのベンチマークタスクすべてにおいて、最先端のモデルベース強化学習手法（MBPOを含む）よりも高速な学習と高い漸近的報酬を達成する。
• HalfCheetahでは、最初の30万ステップ以内にMBPOに対して平均して約1,855.29の報酬差を記録する。
• CMLOではMBPOよりも一貫したポリシーのカバレッジが向上しており、より良い探索性能と局所最適解へのリスク低減を示している。
• イベント発動型メカニズムにより、モデル訓練頻度が低下しながらも、モデル精度は維持または向上しており、全ベンチマークで1ステップのモデル誤差が低く抑えられている。
• アブレーションスタディにより、イベント発動型メカニズムの統計的有意性が確認され、全タスクでp値が0.05未満であり、性能向上が有意であることが示された。
• トリガー条件の可視化から、モデルシフトがしきい値を超えた場合にのみメカニズムが作動することが確認され、適切で効率的な更新が実現されている。