[論文レビュー] Continuous Doubly Constrained Batch Reinforcement Learning

Rasool Fakoor, Jonas Mueller+3 more|arXiv (Cornell University)|Feb 18, 2021

Reinforcement Learning in Robotics参考文献 72被引用数 6

ひとこと要約

本稿では、行動方策からの逸脱を制限するポリシー制約と、楽観的なQ値推定を抑制する価値制約の2つの正則化子を適用することで、オフライン連続制御における過大評価バイアスとポリシーの乖離を軽減する、連続二重制約バッチ強化学習（CDC）を提案する。CDCは、D4RLスイートの32の連続制御ベンチマークにおいて最先端の性能を達成し、オフラインデータ収集の分布にかかわらず頑健であることが示された。

ABSTRACT

Reliant on too many experiments to learn good actions, current Reinforcement Learning (RL) algorithms have limited applicability in real-world settings, which can be too expensive to allow exploration. We propose an algorithm for batch RL, where effective policies are learned using only a fixed offline dataset instead of online interactions with the environment. The limited data in batch RL produces inherent uncertainty in value estimates of states/actions that were insufficiently represented in the training data. This leads to particularly severe extrapolation when our candidate policies diverge from one that generated the data. We propose to mitigate this issue via two straightforward penalties: a policy-constraint to reduce this divergence and a value-constraint that discourages overly optimistic estimates. Over a comprehensive set of 32 continuous-action batch RL benchmarks, our approach compares favorably to state-of-the-art methods, regardless of how the offline data were collected.

研究の動機と目的

• 限られた静的オフラインデータによるバッチ強化学習における深刻な過大評価バイアスと外挿誤差を是正すること。
• 行動方策から著しく逸脱するポリシーをデプロイするリスクを低減し、分布外領域での推定誤差を抑えること。
• オンライン環境との相互作用が費用がかかりすぎるか不可能な現実世界の応用において、サンプル効率と一般化性能を向上させること。
• オフライン強化学習における価値関数の安定性とポリシー性能を向上させる、シンプルだが効果的な正則化フレームワークを構築すること。
• オンライン環境との相互作用を必要とせず、保守的かつ信頼性の高いポリシー学習を保証すること。

提案手法

• 行動方策の行動分布からあまりに離れた行動をペナルティ化するポリシー制約正則化子を導入し、分布外領域における乖離を低減する。
• 局所的なリプシッツ連続性に基づいて最大Q値更新を制約することで、過度に楽観的なQ値推定を抑制する価値制約正則化子を適用する。
• Q値更新を二重正則化スキームで調整する、変更されたアクター・クリティックフレームワークを用い、同時にポリシーのずれと価値の過大評価を制御する。
• サンプリングに基づく解析を用いて過大評価誤差をバウンディングし、CDCが標準的なオフポリシー手法と比較して期待される過大評価バイアスを低減することを示す。
• リプシッツ連続性と有界なQ値差の仮定の下で過大評価誤差の理論的バウンディングを導出し、ややきつい条件下でもCDCがバイアスを低減することを証明する。
• Qネットワークと価値関数の更新を、ポリシーおよび価値制約の明示的正則化項を含む修正されたベルマン更新を用いて行う訓練手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 オンライン相互作用を要せず、連続行動バッチ強化学習における過大評価バイアスを二重正則化アプローチで効果的に低減できるか？
• RQ2 行動方策からのポリシーの乖離を制約することで、オフライン設定における一般化性能の向上と外挿誤差の低減が達成できるか？
• RQ3 価値制約正則化子は、データが乏しくて不確実性が高まる分布外状態行動領域において、楽観的なQ値推定の大きさを顕著に低減できるか？
• RQ4 D4RLベンチマークにおける多様なオフラインデータ収集戦略と環境において、CDCはどのように性能を発揮するか？
• RQ5 異なるデータ分布とネットワークアーキテクチャの下で、過大評価誤差の理論的バウンディングは実証的に検証可能か？

主な発見

• CDCは、D4RLスイートの32のすべての連続制御ベンチマークで最先端の性能を達成し、オフラインデータ収集に用いられた行動方策にかかわらず、既存手法を上回った。
• 標準的なオフポリシーアルゴリズムと比較して、より正確なQ値推定と帰還分布の低い分散が示され、過大評価バイアスが顕著に低減された。
• 価値制約正則化子は、特にデータが乏しくて不確実性が高まる分布外状態行動領域で、楽観的なQ値推定を効果的に抑制した。
• ポリシー制約正則化子は、行動方策からの乖離を制限し、誤ったまたはばかげた価値推定を利用してしまうリスクを低減した。
• 実験結果から、CDCは安定した学習ダイナミクスを維持し、特に高次元連続制御タスクにおいて標準的なアクター・クリティック手法で見られる悲観的な過大評価を回避した。
• 理論的分析により、CDCはベースライン手法と比較して期待される過大評価誤差を低減することが確認され、OODサンプルの数が増えるほどバウンディングが厳しくなることが示された。