[論文レビュー] Double Check Your State Before Trusting It: Confidence-Aware Bidirectional Offline Model-Based Imagination

Jiafei Lyu, Xiu Li+1 more|arXiv (Cornell University)|Jun 16, 2022

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本論文は、前方および逆方向のダイナミクスモデルが一致する状態のみを信頼する二重確認メカニズムを備えた、信頼性の高い合成遷移を生成するデータ拡張手法であるConfidence-Aware Bidirectional Offline Model-Based Imagination (CABI)を提案する。CABIは、モデルフリーのオフライン強化学習の性能を著しく向上させ、D4RLベンチマークで最先端の手法を上回る結果を達成する。

ABSTRACT

The learned policy of model-free offline reinforcement learning (RL) methods is often constrained to stay within the support of datasets to avoid possible dangerous out-of-distribution actions or states, making it challenging to handle out-of-support region. Model-based RL methods offer a richer dataset and benefit generalization by generating imaginary trajectories with either trained forward or reverse dynamics model. However, the imagined transitions may be inaccurate, thus downgrading the performance of the underlying offline RL method. In this paper, we propose to augment the offline dataset by using trained bidirectional dynamics models and rollout policies with double check. We introduce conservatism by trusting samples that the forward model and backward model agree on. Our method, confidence-aware bidirectional offline model-based imagination, generates reliable samples and can be combined with any model-free offline RL method. Experimental results on the D4RL benchmarks demonstrate that our method significantly boosts the performance of existing model-free offline RL algorithms and achieves competitive or better scores against baseline methods.

研究の動機と目的

• モデルフリーのオフライン強化学習における分布外（OOD）状態行動一般化の課題に対処すること。
• しばしば不正確なダイナミクスモデルに起因する、モデルベースのオフライン強化学習で生成される合成軌道の信頼性を向上させること。
• 双方向のダイナミクスモデリングを用いて、生成された遷移を検証する保守的で信頼性に配慮したメカニズムを導入すること。
• 任意のモデルフリーのオフライン強化学習アルゴリズムが、アーキテクチャの変更なしに高品質で信頼できる合成ロールアウトの恩恵を受けることを可能にすること。
• 前方および逆方向モデル間の整合性を二重確認することで、実世界のRLベンチマーク（例：D4RL）におけるより高いサンプル効率と性能を達成すること。

提案手法

• 双方向のダイナミクスモデルを学習：前方モデルは次の状態を予測し、逆方向モデルは将来の状態から過去の状態を再構築する。
• 前方および逆方向のロールアウトを用いて合成軌道を生成し、生成された遷移を検証する二重確認メカニズムを適用する。
• 元の状態とバックトラッキング後の再構築状態の類似度に基づく信頼スコアを定義する：逆方向モデルが元の状態をよく再構築できる場合に限り、前方モデルで生成された状態を信頼する。
• 保守的なデータ拡張戦略を導入する：前方モデルと逆方向モデルが一致する遷移のみを含める。信頼性を保証する。
• 生成された拡張データセットを、任意の市販のモデルフリーのオフライン強化学習アルゴリズム（例：BCQ、TD3_BC）と統合し、より良いポリシー学習を実現する。
• 前方および逆方向のダイナミクスモデルを同時に学習するための整合性損失を導入し、元の状態とバックトラッキング後の再構築状態間の再構築誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 双方向のダイナミクスモデリングは、オフライン強化学習における合成ロールアウトの信頼性を向上させ得るか？
• RQ2 前方および逆方向モデルの合意に基づく二重確認メカニズムは、より保守的で一般化性の高いポリシーを生成するか？
• RQ3 本手法は、アーキテクチャの変更なしに、既存のモデルフリーのオフライン強化学習アルゴリズムの性能を著しく向上させ得るか？
• RQ4 標準ベンチマークにおいて、本手法は最先端のモデルフリーおよびモデルベースのオフライン強化学習手法と比較して優れているか？
• RQ5 信頼性に配慮したデータ拡張は、オフライン強化学習における分布シフトをどれほど軽減し、一般化性能を向上させるか？

主な発見

• CABI+BCQは、Adroit pen-clonedタスクで正規化平均スコア54.7 ± 2.0を達成し、BCQ（44.0）および他のベースラインを著しく上回った。
• MuJoCo Halfcheetah-mediumタスクでは、CABI+TD3_BCが45.1 ± 0.1を記録し、TD3_BC（42.8 ± 0.3）を上回り、他の多くの手法と同等またはそれを上回った。
• D4RL MuJoCoベンチマークでは、CABI+TD3_BCが合計スコア1020.7を達成し、次に良い手法（FisherBRC：974.6）を上回り、一部の設定ではエキスパートレベルのベースラインをも上回った。
• hopper-expertおよびwalker2d-expertタスクでは、CABI+TD3_BCはそれぞれ112.4 ± 0.1および108.6 ± 1.5のスコアを記録し、エキスパート性能に近づき、CQLやMOPOを上回った。
• 本手法は、人間のデモンストレーションやエキスパートデモンストレーションを含むD4RLベンチマークの全タスクで、競争力あるか、あるいは優れた結果を示し、強力な一般化性能を示した。
• アブレーションスタディにより、二重確認メカニズムが不可欠であることが確認された：このメカニズムを除去すると性能が低下し、信頼性の高いデータ生成のための双方向整合性の重要性が裏付けられた。