[論文レビュー] Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning

Chenjia Bai, Lingxiao Wang+5 more|arXiv (Cornell University)|Feb 23, 2022

Machine Learning and Data Classification被引用数 24

ひとこと要約

PBRL は不確実性駆動の、モデルフリー offline RL アルゴリズムを導入し、ブートストラップされた Q-function の不一致を不確実性の定量化に用い、OOD サンプリング戦略で悲観的な更新を課すことで、D4RL ベンチマークの性能を向上させる。

ABSTRACT

Offline Reinforcement Learning (RL) aims to learn policies from previously collected datasets without exploring the environment. Directly applying off-policy algorithms to offline RL usually fails due to the extrapolation error caused by the out-of-distribution (OOD) actions. Previous methods tackle such problem by penalizing the Q-values of OOD actions or constraining the trained policy to be close to the behavior policy. Nevertheless, such methods typically prevent the generalization of value functions beyond the offline data and also lack precise characterization of OOD data. In this paper, we propose Pessimistic Bootstrapping for offline RL (PBRL), a purely uncertainty-driven offline algorithm without explicit policy constraints. Specifically, PBRL conducts uncertainty quantification via the disagreement of bootstrapped Q-functions, and performs pessimistic updates by penalizing the value function based on the estimated uncertainty. To tackle the extrapolating error, we further propose a novel OOD sampling method. We show that such OOD sampling and pessimistic bootstrapping yields provable uncertainty quantifier in linear MDPs, thus providing the theoretical underpinning for PBRL. Extensive experiments on D4RL benchmark show that PBRL has better performance compared to the state-of-the-art algorithms.

研究の動機と目的

• 探索が禁止され、OOD 行動からの外挿誤差が性能を妨げるオフライン RL を動機づける。
• 明示的なポリシー制約なしの純粋な不確実性駆動オフライン RL 手法を提案する。
• エピステミック不確実性を定量化し、それに応じて更新をペナルティ化するブートストラップされた Q-function アンサンブルを開発する。
• オフラインデータのサポートを超えて Q-function 推定を正規化するための OOD サンプリング機構を導入する。
• 提案手法が線形 MDP における LCB に類似した不確実性定量化と一致する理論的関係を提供する。

提案手法

• 不確実性を推定するために K 個のブートストラップされた Q-function を維持し、その不一致で不確実性を定量化する。
• 不確実性 U(s,a) を Q-function アンサンブルの標準偏差として定義する。
• 悲観的補正を用いて分布内ターゲットを計算する： T_in Q^k(s,a) = r + γ E_{s',a'} [ Q^k_θ− (s',a') − β_in U_θ− (s',a') ]。
• 訓練データに OOD サンプル (s_ood, a_ood) を追加する。a_ood は現在のポリシーから、s_ood はオフラインデータから抽出する。
• 疑似 OOD ターゲットを定義する： T_ood Q^k(s_ood,a_ood) = Q^k(s_ood,a_ood) − β_ood U_θ(s_ood,a_ood)（最大値の切り捨て max{0, T_ood Q^k} を任意で適用可能）。
• ディストリビューション内の TD-error と OOD データ上の疑似 TD-error の損失を結合してクリティックを最適化し、オフラインデータ上で min_k Q^k(s,a) を最大化することでポリシーを導出する。

実験結果

リサーチクエスチョン

• RQ1 純粋に不確実性駆動の更新だけでポリシー制約なしに、競争力のあるオフライン RL パフォーマンスを得られるのか？
• RQ2 ブートストラップ型の不確実性定量化は、外挿誤差を抑制するための明示的な OOD サンプリング戦略とどのように相互作用するのか？
• RQ3 PBRL の悲観的ターゲットと線形 MDP における LCB スタイルの不確実性定量化にはどのような理論的関係があるのか？
• RQ4 神経ネットワーク設定で OOD サンプリングはブートストラップされた Q-function の安定性と一般化を改善するのか？
• RQ5 PBRL は D4RL ベンチマークでポリシー制約および保守的手法のベースラインと比較してどうか？

主な発見

• PBRL は D4RL ベンチマークで最先端の性能に競合し、非理想的なデータセットでしばしばベースラインを上回る。
• PBRL-Prior（ランダムプライヤを用いた拡張）は、PBRL より安定した学習と平均性能のわずかな改善をもたらす。
• ブートストラップされた不確実性はデータのサポートと相関し、データが乏しい領域で保守的な更新を導く。
• 実験では CQL と TD3-BC が平均的には最も良い性能を示すことが多い一方、PBRL は非理想的なデータセット領域で優れた性能と堅牢な不確実性定量化を示す。
• 理論的には線形 MDP の下で、ブートストラップ型の不確実性ベースのペナルティが LCB ペナルティを近似し、OOD サンプリングが有効な不確実性定量化に寄与する。