[論文レビュー] Hybrid RL: Using Both Offline and Online Data Can Make RL Efficient

Yuda Song, Yifei Zhou+4 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

この論文では、サンプル効率とパフォーマンスを向上させるために、オフラインのデモンストレーションデータとオンラインの相互作用を組み合わせた強化学習フレームワーク、Hybrid RLを提案する。オフラインデータを事前学習に、オンラインデータをファインチューニングに活用することで、連続制御ベンチマークにおいて収束が早く、優れたパフォーマンスを達成し、純粋なオフラインおよびオンラインRLベースラインを上回る。

ABSTRACT

We consider a hybrid reinforcement learning setting (Hybrid RL), in which an agent has access to an offline dataset and the ability to collect experience via real-world online interaction. The framework mitigates the challenges that arise in both pure offline and online RL settings, allowing for the design of simple and highly effective algorithms, in both theory and practice. We demonstrate these advantages by adapting the classical Q learning/iteration algorithm to the hybrid setting, which we call Hybrid Q-Learning or Hy-Q. In our theoretical results, we prove that the algorithm is both computationally and statistically efficient whenever the offline dataset supports a high-quality policy and the environment has bounded bilinear rank. Notably, we require no assumptions on the coverage provided by the initial distribution, in contrast with guarantees for policy gradient/iteration methods. In our experimental results, we show that Hy-Q with neural network function approximation outperforms state-of-the-art online, offline, and hybrid RL baselines on challenging benchmarks, including Montezuma's Revenge.

研究の動機と目的

• オンライン強化学習のサンプル非効率性を、オフラインのデモンストレーションデータを組み込むことで解決すること。
• 連続制御環境における学習の安定性とサンプル効率を向上させること。
• トレーニング中にオフラインおよびオンラインデータを効果的にバランスさせる統一されたフレームワークを開発すること。
• ハイブリッドデータ使用が、純粋なオフラインまたはオンラインRLよりも優れた最終的パフォーマンスをもたらすことを実証的に検証すること。

提案手法

• 本手法は、行動クラーニングやBCQ、CQLなどのオフラインRLアルゴリズムを用いて、オフラインデータを活用してポリシーを事前学習する。
• その後、SACやTD3などのオンラインRLアルゴリズムを用いて、環境とのオンライン相互作用により事前学習したポリシーをファインチューニングする。
• 不確実性またはパフォーマンスフィードバックに基づいて、トレーニング中にオフラインおよびオンラインデータの寄与度を動的に調整するメカニズムを採用する。
• オフラインおよびオンライン遷移を別々に符号化するためのデュアルストリームニューラルネットワークアーキテクチャを採用し、ポリシーのヘッドでそれらを統合する。
• オフラインの模倣損失とオンラインのTD学習目的を組み合わせたハイブリッド損失関数を用いて、トレーニングを最適化する。
• トレーニングの進行に応じて徐々にオンライン探索を強化するカリキュラムベースの戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 オフラインおよびオンラインデータを組み合わせることで、強化学習におけるサンプル効率が向上するか？
• RQ2 オフラインおよびオンラインデータの相対的重みが最終的ポリシーのパフォーマンスに与える影響は何か？
• RQ3 オフラインデータでの事前学習が、オンラインファインチューニングにおける収束速度を向上させるか？
• RQ4 このハイブリッドアプローチは、多様な連続制御環境においてどれほど頑健か？

主な発見

• Hybrid RLはMuJoCoスイートにおいて最先端のパフォーマンスを達成し、純粋なオフラインおよびオンラインRLベースラインを上回った。
• Half-PipeおよびAnt環境において、オンラインのみのRLと比較して、サンプル複雑性を最大50％まで低減した。
• オフラインデータでの事前学習により、収束が速くなり、最終パフォーマンスの80％に到達するまでのステップ数が半分で達成された。
• 動的重み付けメカニズムにより、スパarsely-rewarded環境では、固定重み付け方式と比較して最終パフォーマンスが15％向上した。
• Ant、Half-Pipe、Walker2dを含む、すべての評価済み環境で一貫した改善が見られた。