[論文レビュー] Watch, Try, Learn: Meta-Learning from Demonstrations and Reward

Allan Zhou, Eric Jang+8 more|arXiv (Cornell University)|Jun 7, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 17

ひとこと要約

本論文では、1回のデモと1回の試行（成功／失敗のバイナリフィードバック）のみで、視覚ベースの操作スキルを素早く習得できるメタラーニングフレームワーク「Watch, Try, Learn (WTL)」を提案する。メタインスツラクション学習と試行錯誤強化学習を組み合わせることで、WTLは少サンプル学習において従来手法を大きく上回り、1回のデモと1回の試行で未学習のタスクに対して42%の成功率を達成した。これは、メタインスツラクション学習が30%、行動コーディングでは大規模なファインチューニングを要するが11–39%であったのと比較して顕著である。

ABSTRACT

Imitation learning allows agents to learn complex behaviors from demonstrations. However, learning a complex vision-based task may require an impractical number of demonstrations. Meta-imitation learning is a promising approach towards enabling agents to learn a new task from one or a few demonstrations by leveraging experience from learning similar tasks. In the presence of task ambiguity or unobserved dynamics, demonstrations alone may not provide enough information; an agent must also try the task to successfully infer a policy. In this work, we propose a method that can learn to learn from both demonstrations and trial-and-error experience with sparse reward feedback. In comparison to meta-imitation, this approach enables the agent to effectively and efficiently improve itself autonomously beyond the demonstration data. In comparison to meta-reinforcement learning, we can scale to substantially broader distributions of tasks, as the demonstration reduces the burden of exploration. Our experiments show that our method significantly outperforms prior approaches on a set of challenging, vision-based control tasks.

研究の動機と目的

• デモだけではタスク実行の曖昧さが残るため、視覚ベースのポリシー学習における少サンプル学習の課題に対処すること。
• 試行錯誤経験からのスパarsな報酬フィードバックを活用して、デモを超える学習を可能にすること。
• メタインスツラクション学習とメタ強化学習を統合し、より広範なタスク分布にスケーリングしつつ、サンプル効率を維持すること。
• 新たな未学習環境において、デモと試行の両方を用いてポリシーを推論・最適化する統合的メタラーニングフレームワークの開発。
• エキスパートデータの大量依存を減らすために、非エキスパートユーザーがデモとフィードバックによってエージェントに新しいタスクを教えることを可能にすること。

提案手法

• 本手法は、多様なタスクで学習を行うメタラーナーを採用し、2段階の内側ループ（1回のデモの観察と、バイナリ報酬フィードバック付きのタスク試行）により、新しいタスクに素早く適応できるようにする。
• デモエンコーダーが1回のデモからタスクレベルの情報を抽出する。一方、試行ポリシーは、このエンコード済みデモと現在の観測に基づいて行動を生成する。
• 試行ポリシーは、探索の多様性を確保するための事後サンプリング戦略を用いて訓練され、デモに従って探索コストを低減する。
• メタラーナーは、1回のデモと1回の試行エピソードのみで新しいタスクに素早く適応できる共通のポリシー初期化と適応メカニズムを最適化する。
• フレームワークは視覚ベースの観測空間を採用しており、画像観測は100×100にクロップ・リサイズされてポリシーネットワークの入力として使用される。
• デモによる探索空間の形状づけと、スパース報酬による試行錯誤によるポリシーの最適化を通じて、インスツラクション学習と強化学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは1回のデモと1回の試行（バイナリ報酬フィードバック付き）のみで、新しい視覚ベースの制御タスクを習得できるか？
• RQ2 デモと試行フィードバックを統合することで、純粋なインスツラクション学習や強化学習と比較して、少サンプル一般化性能がどのように向上するか？
• RQ3 メタラーニングにより、1つのモデルが多様な操作タスク（新規オブジェクトやタスク変種を含む）に一般化できるか？
• RQ4 デモと試行経験の統合は、ファインチューニングを要する行動コーディングと比較して、より高速かつサンプル効率の良いポリシー学習を可能にするか？
• RQ5 成功率とサンプル効率の観点から、本手法はメタインスツラクション学習およびメタ強化学習と比較してどのように差をつけるか？

主な発見

• Watch-Try-Learn (WTL) メソッドは、1回のデモと1回の試行のみで未学習のメタテストタスクに対して42%の成功率を達成し、30%のメタインスツラクション学習（MIL）ベースラインを顕著に上回った。
• WTLは、SACでファインチューニングした行動コーディングを上回り、2,500回の試行エピソードを要するが39%の成功率に達するのに対し、WTLは1回の試行で42%の成功率を達成した。
• 視覚ベースのタスクにおいて、WTLはボタン押しが、つかみ、押す、ピックアンドプレースの4つの異なるタスクファミリーにおいても強力な性能を維持し、広範な一般化能力を示した。
• 1回のデモと1回の試行エピソードのみで42%の成功率を達成したため、単一デモに内在する曖昧性の効果的解決が可能であることが示された。
• アブレーションスタディにより、デモと試行フィードバックの両方が不可欠であることが確認され、いずれかのコンponentを削除すると性能が著しく低下した。
• 状態空間の監視なしに、生のピクセル観測からのポリシー学習に成功した。これは、視覚ベース制御におけるエンドツーエンドのメタラーニングの実現可能性を示している。