[論文レビュー] Conservative Offline Distributional Reinforcement Learning

Yecheng Jason, Dinesh Jayaraman+1 more|arXiv (Cornell University)|Jul 12, 2021

Reinforcement Learning in Robotics参考文献 46被引用数 5

ひとこと要約

CODAC は、分位数ベースの報酬推定を用いて分布外の行動をペナルティ化することで安全性を向上させる、保守的でオフラインの分布的強化学習アルゴリズムである。これは報酬分位数の保守的下限に収束することを保証し、リスク中立的およびリスク回避的設定の両方で D4RL MuJoCo ベンチマークで最先端の性能を達成する。

ABSTRACT

Many reinforcement learning (RL) problems in practice are offline, learning purely from observational data. A key challenge is how to ensure the learned policy is safe, which requires quantifying the risk associated with different actions. In the online setting, distributional RL algorithms do so by learning the distribution over returns (i.e., cumulative rewards) instead of the expected return; beyond quantifying risk, they have also been shown to learn better representations for planning. We propose Conservative Offline Distributional Actor Critic (CODAC), an offline RL algorithm suitable for both risk-neutral and risk-averse domains. CODAC adapts distributional RL to the offline setting by penalizing the predicted quantiles of the return for out-of-distribution actions. We prove that CODAC learns a conservative return distribution -- in particular, for finite MDPs, CODAC converges to an uniform lower bound on the quantiles of the return distribution; our proof relies on a novel analysis of the distributional Bellman operator. In our experiments, on two challenging robot navigation tasks, CODAC successfully learns risk-averse policies using offline data collected purely from risk-neutral agents. Furthermore, CODAC is state-of-the-art on the D4RL MuJoCo benchmark in terms of both expected and risk-sensitive performance.

研究の動機と目的

• 行動選択におけるリスクを定量化することで、オフライン強化学習におけるポリシーの安全性を確保する挑戦に取り組む。
• 従来、オンライン設定で有効であった分布的強化学習を、オフラインでデータ駆動される環境に適応する。
• 危険な行動の過大評価を最小限に抑えるために、報酬分布の保守的推定を学習する手法を開発する。
• 提案されたアルゴリズムのもとで、有限 MDP において報酬分位数の均一な下限への収束を証明する。
• リスク中立的なエージェントによって収集された純粋なオフラインデータから、効果的なリスク回避ポリシーを学習できることを示す。

提案手法

• CODAC は、分布的ベルマン作用素を変更することで、分布的強化学習フレームワークをオフライン強化学習に拡張し、分布外の行動に対してペナルティを課す。
• 行動方針分布から逸脱する行動の報酬分位数予測に対してペナルティを課す、保守的な正則化項を導入する。
• アルゴリズムは分位数ごとの報酬分布を学習することで、分位数レベルの推定を用いたリスクセンシティブな意思決定を可能にする。
• CODAC は、分布的ベルマン作用素の新しい解析を用いて、有限 MDP において分位数の均一な下限への収束を証明する。
• オフラインデータを含むリプレイバッファを用い、行動方針密度が低い行動の価値推定を制限する保守的更新ルールを適用する。
• 分位数予測のための別々のヘッドを備えた深層ニューラルネットワークアーキテクチャを用い、分位数ハッブル損失を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 分布的強化学習は、保守的かつリスク回避的な行動を保証しつつ、オフライン設定に効果的に適応可能か？
• RQ2 報酬分布において分布外の行動にペナルティを課すことは、オフライン強化学習におけるより安全で信頼性の高いポリシー学習をもたらすか？
• RQ3 CODAC は、有限 MDP において分位数の下限に収束する、証明可能な保守的報酬推定を達成できるか？
• RQ4 期待報酬とリスクセンシティブな指標の両面において、既存のオフライン強化学習手法と比較して CODAC はどのように性能を発揮するか？
• RQ5 CODAC は、リスク中立的なエージェントによって収集された純粋なオフラインデータから、効果的なリスク回避ポリシーを学習できるか？

主な発見

• CODAC は、リスク中立的なエージェントによって収集された純粋なオフラインデータのみを用いて、2つの挑戦的なロボットナビゲーションタスクでリスク回避ポリシーを効果的に学習した。
• 有限 MDP において、分布的ベルマン作用素の新しい解析を通じて、報酬分布の分位数の均一な下限への収束が証明された。
• CODAC は D4RL MuJoCo ベンチマークで最先端の性能を達成し、期待報酬とリスクセンシティブな評価指標の両方で、既存の手法を上回った。
• 保守的な正則化は、分布外の行動の報酬過大評価を効果的に防止し、ポリシーの安全性を向上させた。
• 実験により、CODAC は多様なオフライン強化学習環境において強固で一般化可能な性能を維持することが確認された。
• この手法は、安全なオフライン強化学習のための有効で実用的な戦略として、保守的な分布的学習が可能であることを示している。