[論文レビュー] Rethinking Continual Learning for Autonomous Agents and Robots

German I. Parisi, Christopher Kanan|arXiv (Cornell University)|Jul 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 8

ひとこと要約

本稿は、継続的学習の枠組みを再考し、発達的学習、カリキュラム学習、転移学習、内発的動機付けを統合することで、崩壊的忘却を克服し、生涯にわたりスケーラブルなスキル習得を可能にする。本稿は、構造的で段階的なタスクスケジューリングと内発的報酬を用いて、エージェントが自己組織的に複雑性を増すスキルを習得するフレームワークを提案し、現実世界の非定常環境において学習効率と一般化性能を顕著に向上させる。

ABSTRACT

Continual learning refers to the ability of a biological or artificial system to seamlessly learn from continuous streams of information while preventing catastrophic forgetting, i.e., a condition in which new incoming information strongly interferes with previously learned representations. Since it is unrealistic to provide artificial agents with all the necessary prior knowledge to effectively operate in real-world conditions, they must exhibit a rich set of learning capabilities enabling them to interact in complex environments with the aim to process and make sense of continuous streams of (often uncertain) information. While the vast majority of continual learning models are designed to alleviate catastrophic forgetting on simplified classification tasks, here we focus on continual learning for autonomous agents and robots required to operate in much more challenging experimental settings. In particular, we discuss well-established biological learning factors such as developmental and curriculum learning, transfer learning, and intrinsic motivation and their computational counterparts for modeling the progressive acquisition of increasingly complex knowledge and skills in a continual fashion.

研究の動機と目的

• 崩壊的忘却と単純化されたタスクスケジューリングのため、現実世界の動的環境にスケーラブルでない現在の継続的学習モデルの限界を解消する。
• 人間の生物学的学習と人工エージェントの間のギャップを、機械学習システムに発達的学習およびカリキュラム学習の原則を組み込むことで埋める。
• 学習進捗を優先する自己生成型内発的動機付けカリキュラムを通じて、自律的エージェントが段階的に複雑なスキルを習得できるようにする。
• 共有表現の再利用と、以前に学習したタスクと新しいタスクの間の干渉の最小化により、タスク間の転移学習を効果的に活用する。
• 複数の生物学的学習メカニズムを統合した包括的フレームワークを構築し、人工エージェントおよびロボットにおける強固で生涯にわたる学習を支援する。

提案手法

• 発達的学習を実装するため、エージェントと環境との相互作用を段階的でセンサモーターディリベレートされた進行に構造化し、神経可塑性の重要な期間を模倣する。
• カリキュラム学習を適用するため、学習進捗を報酬信号として用いて、タスクを複雑さの増す順序に整列させる。
• 内発的動機付けを統合するため、予測誤差または学習進捗を内発的報酬として用い、自律的探索と自己監督型カリキュラム生成を促進する。
• 転移学習を活用するため、タスク間で低レベルおよび高レベルの表現を共有し、新規タスクおよび以前に学習したタスクの両方のパフォーマンス向上を実現する。
• 勾配エピソードメモリ（GEM）を用いて、タスク識別子を必要とせず、タスク間の重要な相関関係を保持することで、崩壊的忘却を緩和する。
• マルチセンサ入力と段階的スキル習得を組み合わせ、人工エージェントにおける複雑な神経認知機能の出現を支援する。

実験結果

リサーチクエスチョン

• RQ1 発達的学習およびカリキュラム学習の原則をどのように計算的にモデル化することで、自律的エージェントが意味的でスケーラブルな順序で、複雑性を増すスキルを習得できるようにできるか？
• RQ2 密度の高い外発的報酬が存在しない状況で、内発的動機付けが自己組織的で段階的な学習をどのように駆動するか？
• RQ3 転移学習をどのように効果的に活用することで、新しいタスクのパフォーマンスを向上させるとともに、以前に学習した知識を保持できるか？
• RQ4 神経可塑性の重要な期間が、人工エージェントにおける生涯学習アーキテクチャの設計にどのように影響を与えるか？
• RQ5 発達的学習、カリキュラム学習、内発的学習メカニズムを統合した統一フレームワークは、現実世界の非定常環境において、標準的な継続的学習手法を上回る性能を発揮できるか？

主な発見

• 学習進捗を指標として用いるカリキュラム学習は、意味的で段階的な順序にタスクを整列させることで、ニューラルネットワークシステムにおける訓練効率とパフォーマンスを顕著に向上させる。
• 予測誤差または学習進捗に基づく内発的動機付けは、密度の高い外発的報酬が存在しない状況でも、エージェントが効果的な学習カリキュラムを自己生成し、複雑な環境を自律的に探索可能にする。
• 共有表現や勾配エピソードメモリのようなモデルを介した転移学習により、前向きおよび後向きの正の転移が実現され、崩壊的忘却が軽減され、一般化性能が向上する。
• 可塑性の重要な期間を模倣する発達的学習戦略は、ニューラルネットワークの初期アーキテクチャおよび接続パターンをガイドし、その後の学習パフォーマンスを向上させる。
• 発達的学習、カリキュラム学習、内発的動機付け、および転移学習の複数の生物学的学習メカニズムを統合することで、より強固でスケーラブルかつ人間らしく、継続的学習が可能な人工エージェントが実現される。
• 現在の継続的学習ベンチマークはあまりに単純であり、現実世界のデータの複雑さ、不確実性、時間的相関性を反映していないため、より現実的な評価環境の必要性が示唆される。