[論文レビュー] FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

Lanqing Li, Rui Yang+1 more|arXiv (Cornell University)|Oct 2, 2020

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

FOCALは、決定論的なコンテキスト符号化と、新しい逆累乗距離メトリック損失関数および行動正則化を組み合わせることで、エンドツーエンドでモデルフリーで完全にオフラインなメタ強化学習アルゴリズムを初めて提案する。この手法により、静的でオフラインなデータから、効率的かつロバストなタスク推論と高速な適応が可能になる。オンライン相互作用や事前のタスクIDの知識が不要であり、連続的制御メタ強化学習ベンチマークで最先端の性能を達成する。

ABSTRACT

We study the offline meta-reinforcement learning (OMRL) problem, a paradigm which enables reinforcement learning (RL) algorithms to quickly adapt to unseen tasks without any interactions with the environments, making RL truly practical in many real-world applications. This problem is still not fully understood, for which two major challenges need to be addressed. First, offline RL usually suffers from bootstrapping errors of out-of-distribution state-actions which leads to divergence of value functions. Second, meta-RL requires efficient and robust task inference learned jointly with control policy. In this work, we enforce behavior regularization on learned policy as a general approach to offline RL, combined with a deterministic context encoder for efficient task inference. We propose a novel negative-power distance metric on bounded context embedding space, whose gradients propagation is detached from the Bellman backup. We provide analysis and insight showing that some simple design choices can yield substantial improvements over recent approaches involving meta-RL and distance metric learning. To the best of our knowledge, our method is the first model-free and end-to-end OMRL algorithm, which is computationally efficient and demonstrated to outperform prior algorithms on several meta-RL benchmarks.

研究の動機と目的

• 環境との相互作用なしに、未学習のタスクへ迅速に適応可能な完全にオフラインなメタ強化学習アルゴリズムの開発を目的とする。
• オフライン強化学習におけるブートストラapping誤差を是正するため、学習済み方策に行動正則化を適用する。
• 新しい距離メトリック損失関数を用いた決定論的なコンテキストエンコーダーにより、効率的でロバストなタスク推論を実現する。
• コンテキストエンコーダーの学習をベルマンバックアップから分離することで、安定性と表現品質の向上を図る。
• 静的でログされたデータのみを用いて、連続的制御メタ強化学習ベンチマークで最先端の性能を示す。

提案手法

• オフラインの軌道からタスク固有の情報を抽出する決定論的なコンテキストエンコーダーを提案し、探索を伴わずに迅速な適応を可能にする。
• ボトムレスなコンテキスト埋め込みに、クーロンポテンシャルにインspiredされた負累乗距離メトリック損失（逆累乗）を導入し、異なるタスク表現間の分離を向上させる。
• 勾配分離を用いてコンテキストエンコーダーの学習をベルマンバックアップから分離し、安定性を向上させるとともに、タスク埋め込みの崩壊を防止する。
• オフライン強化学習における分布外状態-行動のブートストラップ誤差を是正するため、行動正則化（例：価値ペナルティおよび方策正則化）を採用する。
• タスク遷移対応仮定の下で、メタ強化学習をタスク拡張MDPとして再定式化し、コンテキスト学習と制御方策最適化を統合する。
• 標準的なアクター・クリティックフレームワークにオフポリシー更新を組み合わせ、エンドツーエンドで方策とコンテキスト表現を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全にオフラインなメタ強化学習アルゴリズムは、環境とのオンライン相互作用なしに、未学習のタスクへ迅速かつロバストに適応可能か？
• RQ2 行動正則化が必須である状況下で、オフラインメタ強化学習における有効なタスク表現学習はどのように達成できるか？
• RQ3 距離メトリック学習およびコンテキストエンコーディングにおけるどのような設計選択が、オフラインメタ強化学習における優れた性能と安定性をもたらすか？
• RQ4 コンテキストエンコーダーの学習をベルマン更新から分離することは、タスク埋め込みの品質と全体的な方策性能を向上させるか？
• RQ5 距離メトリックの選択（例：逆累乗対比線形／平方）は、タスク埋め込みのクラスタリングおよび下流の強化学習性能にどのように影響するか？

主な発見

• FOCALは、Walker-2D-ParamsやAnt-2D-Paramsを含む複数の連続的制御メタ強化学習ベンチマークで、先行研究のオフラインメタ強化学習手法を上回る性能を示した。
• 逆累乗距離メトリック損失は、Walker-2D-Paramsで0.840という最高の有効分離率（ESR）を達成し、線形（0.819）、平方（0.506）、逆平方（0.861）の各変種を顕著に上回った。
• 決定論的なコンテキストエンコーダーは、確率的バージョンよりも優れた性能を示し、t-SNE可視化からタスク埋め込みの良好なクラスタリングが確認された。
• ベルマン勾配からコンテキストエンコーダーを分離することで、埋め込みの崩壊が防止され、t-SNEおよびリターン曲線の比較から安定した学習が実現した。
• オンライン相互作用やタスクID情報が不要であり、静的でログされたデータのみを用いても、優れたサンプル効率と迅速な適応が達成された。
• 実証的分析から、複雑なオフラインメタ強化学習設定では行動正則化が収束に不可欠であり、訓練戦略との相互作用が性能に顕著に影響することが確認された。