[論文レビュー] Offline RL Without Off-Policy Evaluation

David Brandfonbrener, WILLIAM F. WHITNEY+2 more|arXiv (Cornell University)|Jun 16, 2021

Reinforcement Learning in Robotics参考文献 35被引用数 16

ひとこと要約

この論文は、行動方策からのオンポリシーQ推定値を用いた単一ステップのポリシー改善アルゴリズムを提案する。この手法は、D4RLベンチマークの大部分で反復的でオフポリシーなアクタクリティック手法を上回り、オフポリシー評価を完全に回避することで分散と誤差伝搬を低減し、従来の反復的手法よりもはるかに単純でロバストな最先端の性能を達成する。

ABSTRACT

Most prior approaches to offline reinforcement learning (RL) have taken an iterative actor-critic approach involving off-policy evaluation. In this paper we show that simply doing one step of constrained/regularized policy improvement using an on-policy Q estimate of the behavior policy performs surprisingly well. This one-step algorithm beats the previously reported results of iterative algorithms on a large portion of the D4RL benchmark. The one-step baseline achieves this strong performance while being notably simpler and more robust to hyperparameters than previously proposed iterative algorithms. We argue that the relatively poor performance of iterative approaches is a result of the high variance inherent in doing off-policy evaluation and magnified by the repeated optimization of policies against those estimates. In addition, we hypothesize that the strong performance of the one-step algorithm is due to a combination of favorable structure in the environment and behavior policy.

研究の動機と目的

• オフポリシー評価に依存する反復的アクタクリティックアルゴリズムが支配的であるオンライン強化学習のパラダイムに挑戦すること。
• 反復的アルゴリズムが理論的には設計されているにもかかわらず、実際の応用でしばしば失敗する理由を調査すること。
• 標準的なオフライン強化学習ベンチマークで、複雑な反復的手法を上回る単純な1ステップのポリシー改善ベースラインが有効であることを示すこと。
• 反復的アルゴリズムがまだ1ステップベースラインを上回る可能性がある状況を同定すること。
• 実務家がオフライン強化学習において1ステップ法と反復的手法のどちらをいつ使用すべきかについての実用的指針を提供すること。

提案手法

• この手法は、オフポリシー評価を完全に回避するため、行動方策のオンポリシーQ推定値を用いて1ステップのポリシー改善を実行する。
• 新しいポリシーが行動方策の分布から大きく逸脱しないように、制約付きまたは正則化されたポリシー更新を用いる。
• アルゴリズムは、オフラインデータセットから直接計算された行動方策のQ関数 $ \widehat{Q}^\beta $ に依存し、ポリシー改善を導く。
• 分布シフトを防ぐために、正則化された目的関数を用いて1回の更新ステップでポリシーを最適化する。
• 推定誤差がオフポリシーQ推定値で拡大するのを防ぐために、反復的フィードバックや動的プログラミングのステップを回避する。
• ハイパーパrameterは、オフラインRLの標準的手順に従い、少数の環境で調整される。

実験結果

リサーチクエスチョン

• RQ1 オフライン強化学習における反復的アクタクリティックアルゴリズムは、洗練された設計にもかかわらず、なぜしばしば性能を発揮しないのか？
• RQ2 オフライン強化学習において、単純な1ステップのポリシー改善手法が複雑な反復的手法を上回ることができるか？
• RQ3 反復的アルゴリズムの性能を劣化させるオフポリシー評価の失敗モードは何か？
• RQ4 オフポリシー評価が十分に信頼できるようになる条件は何か？
• RQ5 オフライン強化学習において、1ステップベースラインが反復的手法よりも好ましい状況は何か？

主な発見

• 1ステップアルゴリズムは、D4RLベンチマークスイートの大部分のタスク、特にGym-MuJoCoおよびAdroit環境の多くで、以前に報告された反復的アルゴリズムの結果を上回る。
• この手法は、反復的手法よりもはるかに単純でハイパーパrameterの選択に強く、ほとんどのタスクで最先端の性能を達成する。
• 反復的アルゴリズムの主な失敗要因として、繰り返しのポリシー最適化によって悪化するオフポリシー評価の高分散が特定された。
• 分布シフトと反復的バイアスの拡大による誤差伝搬は、反復的手法における主要な失敗モードとして、実験的に検証された。
• 行動方策が良好な状態-行動カバレッジを持ち、データセットが十分に大きい場合には、反復的アルゴリズムが1ステップベースラインを上回る場合がある。
• 実験結果から、たとえ中程度のカバレッジを持つ行動データがわずか10%程度（混合データの一部として）存在する場合でも、1ステップ手法が反復的手法を上回ることが示され、このベースラインの強力なロバスト性が裏付けられた。