[論文レビュー] AWAC: Accelerating Online Reinforcement Learning with Offline Datasets

Ashvin Nair, Abhishek Gupta+2 more|arXiv (Cornell University)|Jun 16, 2020

Reinforcement Learning in Robotics参考文献 60被引用数 71

ひとこと要約

AWACはオフポリシーのアクター・クリティックアルゴリズムで、オフラインデータセットから学習し、アクターに対する暗黙の制約を用いてオンラインで効率的にファインチューニングすることで、デモンストレーションや劣悪なデータから迅速なスキル獲得を可能にする。

ABSTRACT

Reinforcement learning (RL) provides an appealing formalism for learning control policies from experience. However, the classic active formulation of RL necessitates a lengthy active exploration process for each behavior, making it difficult to apply in real-world settings such as robotic control. If we can instead allow RL algorithms to effectively use previously collected data to aid the online learning process, such applications could be made substantially more practical: the prior data would provide a starting point that mitigates challenges due to exploration and sample complexity, while the online training enables the agent to perfect the desired skill. Such prior data could either constitute expert demonstrations or sub-optimal prior data that illustrates potentially useful transitions. While a number of prior methods have either used optimal demonstrations to bootstrap RL, or have used sub-optimal data to train purely offline, it remains exceptionally difficult to train a policy with offline data and actually continue to improve it further with online RL. In this paper we analyze why this problem is so challenging, and propose an algorithm that combines sample efficient dynamic programming with maximum likelihood policy updates, providing a simple and effective framework that is able to leverage large amounts of offline data and then quickly perform online fine-tuning of RL policies. We show that our method, advantage weighted actor critic (AWAC), enables rapid learning of skills with a combination of prior demonstration data and online experience. We demonstrate these benefits on simulated and real-world robotics domains, including dexterous manipulation with a real multi-fingered hand, drawer opening with a robotic arm, and rotating a valve. Our results show that incorporating prior data can reduce the time required to learn a range of robotic skills to practical time-scales.

研究の動機と目的

• 大規模なオフラインデータセットを効率的に活用して実世界のロボティクスのポリシーを事前学習することで現実的なRLを動機付ける。
• 明示的な挙動ポリシーモデリングを必要とせず、オフライン事前学習とオンラインファインチューニングを組み合わせた簡潔でデータ効率の良いアルゴリズムを開発する。
• prior data を組み込むことで多様なロボットタスクにおけるオンライン学習時間を短縮することを示す。
• サブ最適なオフラインデータに対するロバスト性を評価し、実世界の適用性をデモンストレーションする。

提案手法

• TDブートストラッピングによるオフポリシー批評家学習を用いて Q^π( s, a ) を推定する。
• KL様の暗黙的制約の下で A^π_k(s,a) を最大化することによるポリシー改善（明示的な挙動モデルなし）。
• 閉形式の非パラメトリックなアクター解 π*(a|s) ∝ π_β(a|s) exp(A^π_k(s,a)/λ) の導出と、前方KL最小化を用いたパラメトリックポリシーへの射影。
• ニューラルネットワークでのアクターとクリティックのパラメータ化と、 learned critic からの advantage を用いた重み付き最大尤度（式13）による更新。
• offlineデータβとオンラインデータを含むリプレイバッファの使用；オンラインデータはオフライン段階の後に希 sparse に導入。
• TDブートストラッピングと明示的な挙動モデルを使わない点の利点を示すため、AWRやABM/MPO風の手法と比較。

実験結果

リサーチクエスチョン

• RQ1 AWACはオフライン事前学習とオンラインファインチューニングを効果的に組み合わせて、複雑なロボット制御タスクを学習できるか？
• RQ2 AWACはデモンストレーションと比較して、サブ最適またはランダムなオフラインデータでどう機能するか？
• RQ3 明示的な挙動モデリングを回避することが、オンラインファインチューニングの効率性と安定性を改善するか？
• RQ4 高次元・報酬が希少なロボティクスタスクにおいて、従来のオフラインおよびオンラインRL法と AWAC はどう比べるか？

主な発見

• AWACはオフラインデータとオンラインファインチューニングを用いて、多様なロボットタスクで迅速な学習を実現し、巧妙な操作や現実世界の実験を含む。
• AWACはファインチューニングの効率において純粋にオフラインまたは純粋にオンラインのベースラインを上回り、オンラインデータが限られているタスク（例: ペン作業で120Kステップ）を解く。
• この手法はデモンストレーション、サブ最適データ、あるいはランダム探索データをアルゴリズム的変更なしに活用でき、オンラインデータのニーズを削減できる。
• 明示的な挙動ポリシーモデリングを回避することで、従来のオフラインRLアプローチと比較して、AWACはより保守的でなくオンラインの改善においてより効果的である。
• TDブートストラッピングとアクターへの暗黙的制約という設計上の重要な要素が、これらの特徴を欠く変種よりも性能を向上させる。