[論文レビュー] Reinforcement Learning with Action-Free Pre-Training from Videos

Younggyo Seo, Kimin Lee+2 more|arXiv (Cornell University)|Mar 25, 2022

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

本論文は、視覚ベース強化学習におけるサンプル効率性と最終的パフォーマンスを向上させるために、アクションフリーの動画事前学習を用いる強化学習フレームワークAPVを提案する。アクションに依存しない多様な動画で事前学習された潜在的動画予測モデルを、アクションに依存する動的モデルに微調整することで、動画ベースの内在的報酬を介してより速い学習とより良い探索を可能にし、Meta-Worldタスクで95.4%の成功率を達成した。これはDreamerV2の67.9%を大きく上回る。

ABSTRACT

Recent unsupervised pre-training methods have shown to be effective on language and vision domains by learning useful representations for multiple downstream tasks. In this paper, we investigate if such unsupervised pre-training methods can also be effective for vision-based reinforcement learning (RL). To this end, we introduce a framework that learns representations useful for understanding the dynamics via generative pre-training on videos. Our framework consists of two phases: we pre-train an action-free latent video prediction model, and then utilize the pre-trained representations for efficiently learning action-conditional world models on unseen environments. To incorporate additional action inputs during fine-tuning, we introduce a new architecture that stacks an action-conditional latent prediction model on top of the pre-trained action-free prediction model. Moreover, for better exploration, we propose a video-based intrinsic bonus that leverages pre-trained representations. We demonstrate that our framework significantly improves both final performances and sample-efficiency of vision-based RL in a variety of manipulation and locomotion tasks. Code is available at https://github.com/younggyoseo/apv.

研究の動機と目的

• 多様でアクションに依存しない動画から得られる自己教師あり事前学習を活用し、視覚ベース強化学習におけるサンプル効率性と最終的パフォーマンスを向上させること。
• ソースドメイン（例：RLBench）から得た事前学習済み表現を、視覚的分布やタスク構造が大きく異なる未観測のダウンストリームドメイン（例：Meta-WorldやDeepMind Control Suite）に効果的に転移できること。
• 事前学習段階ではアクション情報が不要であるが、微調整段階でアクション入力を統合できる手法の開発。
• 事前学習済み表現から導出される動画ベースの内在的報酬を用いて、視覚ベース強化学習における探索を強化すること。
• 事前学習済みの動的表現が、視覚的にも複雑で異なる環境ですら、学習の加速とパフォーマンス向上に顕著に寄与することの実証。

提案手法

• RLBenchなどから得た多様で構造のない動画の大量データセットを用いて、アクションに依存しない潜在的動画予測モデルを事前学習し、汎用的な動的表現を学習する。
• 事前学習済みのアクションフリーモデルと、新たなアクションに依存する潜在的動的モデルを組み合わせたスタック型アーキテクチャを導入し、ダウンストリームタスクでの微調整を可能にする。
• 世界モデルに基づく強化学習アルゴリズム（DreamerV2）を用いて、ターゲット環境でスタックモデルをエンドツーエンドで微調整し、事前学習済みエンコーダーが誘導的バイアスを提供する。
• 事前学習済みのアクションフリーモデルの特徴を活用して、新しい視覚的動的変化を報酬とする動画ベースの内在的報酬を設計する。
• 微調整段階で勾配クリッピングと学習率ウォームアップを適用し、特にアクション入力の統合時における学習の安定性を向上させる。
• 事前学習段階で対照的事前学習目的を採用し、視覚的動的表現の分離性と意味的意味を持つ表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 多様で構造のない動画に対して、アクションフリーの自己教師あり事前学習が、視覚ベース強化学習におけるサンプル効率性と最終的パフォーマンスを向上させ得るか？
• RQ2 ターゲットドメインとは視覚的分布やタスク構造が異なるソースドメインの動画で事前学習しても、依然として転移可能な表現が得られるか？
• RQ3 スタック型アーキテクチャは、アクション入力を微調整段階で効果的に統合しつつ、事前学習済みのアクションフリー表現の誘導的バイアスを保持できるか？
• RQ4 事前学習済み表現から導出される動画ベースの内在的報酬が、視覚ベース強化学習における探索を改善するか？
• RQ5 事前学習が、視覚的観測が複雑なロケモーションタスクにおける学習ダイナミクスにどのように影響を与えるか？

主な発見

• APVは、6つのMeta-Worldマニピュレーションタスクで95.4%の集約成功率を達成し、DreamerV2の67.9%を大きく上回った。
• DeepMind Control SuiteのQuadrupedタスクでは、APVが事前学習と内在的報酬を併用した場合、ヴァナイルなDreamerV2を上回った。事前学習のみでも十分な性能を発揮した。
• Hopper Hopタスクでは、APVが事前学習と内在的報酬を併用した結果、学習開始直後からDreamerV2を上回った。これは、探索性とサンプル効率性の向上を示している。
• RLBenchの動画で事前学習することで、視覚的外観やタスク構造のギャップが大きいMeta-Worldへの効果的な転移が可能となった。
• アクションフリーの動画予測モデルは、RLBenchおよびMeta-Worldの動画に対して意味的で動的な予測を生成し、ロボットの運動や物体同士の相互作用を捉えている。これは、Something-Something-V2ではぼやけた予測に比べ顕著である。
• アブレーションスタディの結果、事前学習が強力な誘導的バイアスを提供しており、特に初期学習段階で、有用な動的表現を学習するための環境インタラクション回数を削減していることが示された。