[論文レビュー] Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction

Aviral Kumar, Justin Fu+2 more|arXiv (Cornell University)|Jun 3, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 234

ひとこと要約

本論文は、分布外アクションによるブートストラッピング誤差を、静的データセットを用いたオフポリシーQ学習における主要な不安定性として特定し、 BEAR を導入する。これはデータの分布制約付きのオフラインRL法で、誤差の蓄積を減らし、多様なオフポリシーデータに対して堅牢な性能を発揮する。

ABSTRACT

Off-policy reinforcement learning aims to leverage experience collected from prior policies for sample-efficient learning. However, in practice, commonly used off-policy approximate dynamic programming methods based on Q-learning and actor-critic methods are highly sensitive to the data distribution, and can make only limited progress without collecting additional on-policy data. As a step towards more robust off-policy algorithms, we study the setting where the off-policy experience is fixed and there is no further interaction with the environment. We identify bootstrapping error as a key source of instability in current methods. Bootstrapping error is due to bootstrapping from actions that lie outside of the training data distribution, and it accumulates via the Bellman backup operator. We theoretically analyze bootstrapping error, and demonstrate how carefully constraining action selection in the backup can mitigate it. Based on our analysis, we propose a practical algorithm, bootstrapping error accumulation reduction (BEAR). We demonstrate that BEAR is able to learn robustly from different off-policy distributions, including random and suboptimal demonstrations, on a range of continuous control tasks.

研究の動機と目的

• 追加の環境相互作用なしに、大規模な静的なオフポリシーデータセットからの学習を動機づける。
• Q学習における分布外アクションによるブートストラッピング誤差を分析する。
• アクションサポート制約を介して誤差の伝播を制御する実用的なオフポリシーアルゴリズムを開発する。
• 分布制約付きバックアップに関する理論的洞察と性能保証を提供する。」],
• method:[
• データ分布内のサポート集合 Pi 内のポリシーに対して最大化する、分布制約付きバックアップを定式化する。
• オフポリシー性能を境界付けるために、サポート Pi に対するサブ最適性定数 alpha(Pi) および集中性 C(Pi) を導入する。
• BEAR を提案する：Qアンサンブルを用い、Pi_epsilon（サポート制約集合）内でアンサンションを最小の Q 値に基づいて選択する。
• 行動ポリシーのサポートに一致させるため、微分可能なMMDベースの制約を用いて Pi_epsilon を近似する。
• 双対勾配法とサンプルベースのMMD推定を用いて、制約付きポリシー改善を解く。
• 性能を維持しつつ、データサポートにポリシー探索を制限することで、BEAR を分布制約付きバックアップと結びつける。

提案手法

• データ分布内のサポート集合 Pi 内のポリシーに対して最大化する、分布制約付きバックアップを定式化する。
• オフポリシー性能を境界付けるために、サポート Pi に対するサブ最適性定数 alpha(Pi) および集中性 C(Pi) を導入する。
• BEAR を提案する：Qアンサンブルを用い、Pi_epsilon（サポート制約集合）内でアンサンションを最小の Q 値に基づいて選択する。
• 行動ポリシーのサポートに一致させるため、微分可能なMMDベースの制約を用いて Pi_epsilon を近似する。
• 双対勾配法とサンプルベースのMMD推定を用いて、制約付きポリシー改善を解く。
• 性能を維持しつつ、データサポートにポリシー探索を制限することで、BEAR を分布制約付きバックアップと結びつける。

実験結果

リサーチクエスチョン

• RQ1 相互作用なしで固定されたオフポリシーデータセットから学習する場合、オフポリシーQ学習は安定化できるか。
• RQ2 データサポートにバックアップを制約することは、誤差の伝播と全体的な性能にどう影響するか。
• RQ3 分布制約付きバックアップは、ランダム、サブ最適、最適ポリシーからなるデータセット間で一般化するか。
• RQ4 BEAR に基づくオフラインRL法は、BCQ や TD3 のような既存アプローチを、さまざまな連続制御タスクで上回るか。

主な発見

• BEAR-QL は、MuJoCo タスクの中程度品質データに対して、BCQ および素のオフポリシーRLを一貫して上回る。
• BEAR-QL は、ランダムおよびほぼ最適なデータセットで堅牢な性能を達成し、しばしばデータセットのリターンと同等またはそれを上回る。
• MMDベースの制約によるデータサポートへのバックアップ制約は、KL発散や制約なしのアプローチよりも安定した学習をもたらす。
• BEAR は、様々なデータ条件下で難しい環境（例: Humanoid-v2）でも競争力のある性能を維持する。
• 2つ以上のQアンサンブルと保守的なポリシー改善は、データセットの構成に対するロバスト性を向上させる。