[論文レビュー] A Policy-Guided Imitation Approach for Offline Reinforcement Learning

Haoran Xu, Lì Jiāng+2 more|arXiv (Cornell University)|Oct 15, 2022

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本稿では、ポリシー学習をガイドポリシー（最適な次状態を予測）と実行ポリシー（状態を行動にマッピング）に分離する、新しいオフライン強化学習フレームワークであるポリシー誘導型オフライン強化学習（POR）を提案する。状態の合成性を行動の合成性に代えて採用することで、特に低品質なデータセットにおいて最先端の性能を達成し、ガイドポリシーの再訓練により新しいタスクへの効率的な適応が可能になるとともに、補足的な非最適データを用いた一般化性能の向上を実現する。

ABSTRACT

Offline reinforcement learning (RL) methods can generally be categorized into two types: RL-based and Imitation-based. RL-based methods could in principle enjoy out-of-distribution generalization but suffer from erroneous off-policy evaluation. Imitation-based methods avoid off-policy evaluation but are too conservative to surpass the dataset. In this study, we propose an alternative approach, inheriting the training stability of imitation-style methods while still allowing logical out-of-distribution generalization. We decompose the conventional reward-maximizing policy in offline RL into a guide-policy and an execute-policy. During training, the guide-poicy and execute-policy are learned using only data from the dataset, in a supervised and decoupled manner. During evaluation, the guide-policy guides the execute-policy by telling where it should go so that the reward can be maximized, serving as the extit{Prophet}. By doing so, our algorithm allows extit{state-compositionality} from the dataset, rather than extit{action-compositionality} conducted in prior imitation-style methods. We dumb this new approach Policy-guided Offline RL ( exttt{POR}). exttt{POR} demonstrates the state-of-the-art performance on D4RL, a standard benchmark for offline RL. We also highlight the benefits of exttt{POR} in terms of improving with supplementary suboptimal data and easily adapting to new tasks by only changing the guide-poicy.

研究の動機と目的

• 既存のオフライン強化学習手法の限界に対処すること：強化学習ベースの手法はオフポリシー評価誤差に悩まされ、模倣学習ベースの手法はあまりに保守的であり、データセット外に一般化できない。
• 模倣学習手法の訓練安定性を引き継ぎつつ、論理的な分布外一般化を可能にする手法の開発。
• データセットから状態の合成性を実現し、従来の行動の合成性に比べてより柔軟かつ一般化性の高いポリシー学習を可能にすること。
• 実行ポリシーを再訓練せずに、ガイドポリシーのみの再訓練で新しいタスクへの適応を効率的に行えるようにすること。
• 分離された学習スキームにより、補足的な非最適データを活用することで、低品質なデータセットにおける性能を向上させること。

提案手法

• オフライン強化学習タスクを、現在の状態から最適な次状態を予測するガイドポリシーと、状態を行動にマッピングする実行ポリシーに明確に分離する。
• オフポリシー評価や分布シフトの問題を回避するため、オフラインデータセットの遷移のみを用いて、ガイドポリシーと実行ポリシーを分離・教師ありの形で学習する。
• 二段階の訓練プロセスを採用する：まず実行ポリシーを専門家データで訓練し、次にガイドポリシーを専門家データまたは非最適データで訓練して、実行ポリシーを高報酬状態へ誘導する。
• 専門家データと行動なしの非最適データ（例：動画デモンストレーション）を組み合わせた「ミックス」訓練スキームを導入し、ガイドポリシーの一般化性能と性能を向上させる。
• 推論時、ガイドポリシーが実行ポリシーにターゲットとなる次状態を提供することで、状態の合成を通じて論理的な分布外一般化を実現する。
• 新しい報酬関数に対してガイドポリシーのみを再訓練することで、実行ポリシーを変更せずにタスク適応を可能にし、新しいタスクへの迅速な展開を実現する。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー価値関数評価に依存せずに、安定した訓練と分布外一般化を達成できるか？
• RQ2 データセットから最適な次状態を合成する「状態の合成性」は、模倣学習手法における「行動の合成性」に比べて、より優れた一般化を実現できるか？
• RQ3 ガイドポリシーと実行ポリシーを分離したフレームワークは、オフライン強化学習において低品質または非最適データセットでも性能を向上させられるか？
• RQ4 実行ポリシーを変更せずに、ガイドポリシーの再訓練を効率的に行い、新しいタスクに適応できるか？
• RQ5 補足的な非最適データ（例：動画や第三人称デモンストレーション）を、ガイドポリシーと実行ポリシーを分離して学習するスキームを用いて、効果的にポリシー性能の向上に活用できるか？

主な発見

• PORはD4RLベンチマークで最先端の性能を達成しており、特に分布外一般化が重要な低品質データセットにおいて顕著な優位性を示す。
• 専門家データと非最適データを組み合わせた「ミックス」訓練スキームにより、ホッパー環境で正規化スコア99を達成し、性能の上限に近づいた。
• 四部屋環境では、実行ポリシーを変更せずにガイドポリシーのみを再訓練することで、川を迂回する、鍵を回収するといった新しいタスクを効果的に解決した。
• ガイドポリシーは強力な一般化性能を示し、タスクBでは川を避けるように、タスクCでは鍵収集を優先するように適切に誘導した。
• 「ミックス」訓練スキームを用いることで、ホッパーとウォーカー2Dの両環境で、すべてのベースラインを上回る性能を達成した。これは、ガイドポリシーと実行ポリシーの分離された学習にのみ可能となった。
• 本手法はデータ品質の変動に対してもロバストであり、軽量なガイドポリシーのファインチューニングにより、効率的な少数ショットのタスク適応を実現した。