[論文レビュー] Offline Meta-Reinforcement Learning with Online Self-Supervision

Vitchyr H. Pong, Ashvin Nair+3 more|arXiv (Cornell University)|Jul 8, 2021

Reinforcement Learning in Robotics参考文献 58被引用数 8

ひとこと要約

本稿では、自己教師付き微調整のための合成報酬を生成するために、ラベルなしのオンライン軌道を収集することで、分布シフトを軽減する半教師付きオフラインメタ強化学習手法SMACを提案する。本手法は、挑戦的なロボット操作および歩行タスクにおいて、完全にオンラインなメタ強化学習と同等の性能を達成しており、自己教師付きフェーズ後、先行するオフラインメタ強化学習手法を著しく上回っている。

ABSTRACT

Meta-reinforcement learning (RL) methods can meta-train policies that adapt to new tasks with orders of magnitude less data than standard RL, but meta-training itself is costly and time-consuming. If we can meta-train on offline data, then we can reuse the same static dataset, labeled once with rewards for different tasks, to meta-train policies that adapt to a variety of new tasks at meta-test time. Although this capability would make meta-RL a practical tool for real-world use, offline meta-RL presents additional challenges beyond online meta-RL or standard offline RL settings. Meta-RL learns an exploration strategy that collects data for adapting, and also meta-trains a policy that quickly adapts to data from a new task. Since this policy was meta-trained on a fixed, offline dataset, it might behave unpredictably when adapting to data collected by the learned exploration strategy, which differs systematically from the offline data and thus induces distributional shift. We propose a hybrid offline meta-RL algorithm, which uses offline data with rewards to meta-train an adaptive policy, and then collects additional unsupervised online data, without any reward labels to bridge this distribution shift. By not requiring reward labels for online collection, this data can be much cheaper to collect. We compare our method to prior work on offline meta-RL on simulated robot locomotion and manipulation tasks and find that using additional unsupervised online data collection leads to a dramatic improvement in the adaptive capabilities of the meta-trained policies, matching the performance of fully online meta-RL on a range of challenging domains that require generalization to new tasks.

研究の動機と目的

• オフラインメタ強化学習における分布シフト問題に対処すること。具体的には、メタ学習された方策が探索方策によって収集されたオンラインデータに適応できないこと。
• オフラインデータの報酬ラベルを一度だけ行うことで、高コストなオンライン報酬収集の必要を減らす、効率的なメタ強化学習の訓練を可能にすること。
• 合成報酬で生成されたラベルなしのオンライン相互作用を活用することで、新しいタスクへの一般化を向上させること。
• 自己教師付きオンラインデータ収集が、オフラインとオンラインメタ強化学習の性能格差を埋めるのに有効であることを示すこと。
• コンテキストベクトル（z）における分布シフトが、オフラインメタ強化学習における主な失敗要因であることを検証すること。

提案手法

• SMACは、PEARLフレームワークを用いて報酬ラベル付きのオフラインデータセットを事前に収集し、潜在的コンテキストベクトル（z）を用いた高速適応を可能にする方策のメタトレーニングを実施する。
• オフラインメタトレーニング後、メタ学習済みの探索方策を用いて、報酬ラベルなしの追加のオンライン軌道を収集する。
• オフラインデータ上で報酬予測ヘッドを学習し、ラベルなしのオンライン軌道に対して合成報酬を生成する。
• 生成された合成報酬を用いて、AWACスタイルの更新によりメタ方策を微調整することで、自己教師付きの適応を実現する。
• PEARLのアモアタイズド推論とAWACのオフライン強化学習最適化を組み合わせることで、サンプル効率の高い適応を可能にする。
• コンテキストベクトル（z）をオフラインまたはオンラインの履歴に条件付け、分布シフトと適応のロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 オフラインデータとオンライン探索軌道の間でコンテキストベクトル（z）の分布がシフトすることで、メタ強化学習の性能が低下するか？
• RQ2 合成報酬を用いた自己教師付きオンラインデータ収集が、この分布シフトを緩和し、新しいタスクへの適応を改善できるか？
• RQ3 SMACは、未観測のタスクへのゼロショット一般化という観点から、完全にオンラインなメタ強化学習と先行するオフラインメタ強化学習手法と比べてどのように異なるか？
• RQ4 自己教師付き微調整による性能向上は、適応の向上によるものか、より良い探索によるものか？
• RQ5 半教師付きアプローチは、人為的報酬ラベルの最小化を実現しつつ、オンラインメタ強化学習と同等の性能を達成できるか？

主な発見

• SMACは、挑戦的なSawyer操作環境も含む6つのベンチマークタスクにおいて、先行するオフラインメタ強化学習手法（BOReLやMACAW）を著しく上回っている。
• 自己教師付き微調整後、SMACはすべてのタスクで完全にオンラインなメタ強化学習と同等の性能を達成しており、分布シフトの効果的な緩和を示している。
• Ant Directionタスクでは、自己教師付きフェーズ後、オフラインおよびオンラインのコンテキスト履歴の両方に対して方策の挙動がロバストになり、以前の性能格差が解消された。
• 自己教師付きフェーズはアクトル更新のアブレーションよりも性能向上に寄与しており、分布シフトの緩和が成功の鍵であることを示している。
• SMACはすべてのタスクでメタインスティチューション学習ベースラインを上回っており、一般化において自己教師付き適応がインスティチューション学習よりも効果的であることを示している。
• 可視化により、適応手順が履歴分布（オフライン対オンライン）に敏感であることが確認され、自己教師付きフェーズがこの感度を解消していることが示された。