[論文レビュー] Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

Maruan Al-Shedivat, Trapit Bansal+4 more|arXiv (Cornell University)|Oct 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 157

ひとこと要約

本論文は、非定常かつ競争的な強化学習における連続適応を勾配ベースのメタ学習として定式化し、RoboSumoを導入し、メタ学習による適応が少数ショット設定および反復的な多-agentゲームで reactive baselines を上回ることを示す。

ABSTRACT

Ability to continuously learn and adapt from limited experience in nonstationary environments is an important milestone on the path towards general intelligence. In this paper, we cast the problem of continuous adaptation into the learning-to-learn framework. We develop a simple gradient-based meta-learning algorithm suitable for adaptation in dynamically changing and adversarial scenarios. Additionally, we design a new multi-agent competitive environment, RoboSumo, and define iterated adaptation games for testing various aspects of continuous adaptation strategies. We demonstrate that meta-learning enables significantly more efficient adaptation than reactive baselines in the few-shot regime. Our experiments with a population of agents that learn and compete suggest that meta-learners are the fittest.

研究の動機と目的

• 非定常環境に対する連続適応を“学習することを学ぶ”として位置づける。
• RLタスクでの迅速な適応に適した勾配ベースのメタ学習アルゴリズムを開発する。
• 3D競技環境であるRoboSumoと適応ダイナミクスを評価するための反復適応ゲームを導入する。
• 少数ショットの状況において、メタ学習が反応ベースラインより効率的な適応を達成することを示す。
• 時間とともに支配的となる適応戦略を評価するための集団レベルのダイナミクスを探る。

提案手法

• 確率的視点からマルチタスクRLのMAMLを再導出し、動的タスク変化に拡張する。
• 初期ポリシーパラメータからタスク固有のポリシーへ勾配ステップを用いてマッピングする適応更新を定義する。
• 連続するタスクのペアに基づくメタ損失を用いて基礎パラメータと適応パラメータの両方を訓練する。
• メタ更新のための高次勾配計算を含む二時刻スケールの訓練と実行手順を実装する。
• 実行時データのシフトを扱うために重要度重み付きの適応を導入する。
• 3つの移動非定常環境とRoboSumoのマルチエージェント設定、反復適応ゲームを含めて評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメタ学習は、反応ベースラインよりも非定常的または対戦相手が敵対的に変化する環境への適応をより速く、より堅牢にすることができるか？
• RQ2 単一エージェントの移動と競合するマルチエージェントゲームにおける few-shot 適応シナリオでメタ学習はどのように機能するか？
• RQ3 反復適応ゲームは学習エージェントの集団において優れた適応戦略の出現を促進するか？
• RQ4 異なるポリシーアーキテクチャと適応ステップが非定常RLタスクの適応性能に与える影響は何か？

主な発見

• メタ学習による適応は、少数ショット領域において単一エージェントの移動およびRoboSumo設定の両方でリアクティブベースラインを大幅に上回る。
• メタ学習による適応は、環境の変化を予測し、わずかな経験の後にポリシーを効果的に更新することを可能にする。
• 反復適応ゲームでは、対戦相手がラウンドごとに向上するにつれて、メタ学習された戦略がしばしば高い勝率を達成し、ベースラインを凌駕する。
• 多様な集団実験は、メタ学習された適応戦略が世代を経て最も適応力のあるものへと進化することを示唆している。