[論文レビュー] Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges

Timothée Lesort, Vincenzo Lomonaco+4 more|arXiv (Cornell University)|Jun 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 214被引用数 474

ひとこと要約

連続学習（CL）を定義し、形式的フレームワーク、分類、評価問題、学習戦略を提案する包括的なサーベイ。ロボティクスとドメイン間転送に焦点。

ABSTRACT

Continual learning (CL) is a particular machine learning paradigm where the data distribution and learning objective changes through time, or where all the training data and objective criteria are never available at once. The evolution of the learning process is modeled by a sequence of learning experiences where the goal is to be able to learn new skills all along the sequence without forgetting what has been previously learned. Continual learning also aims at the same time at optimizing the memory, the computation power and the speed during the learning process. An important challenge for machine learning is not necessarily finding solutions that work in the real world but rather finding stable algorithms that can learn in real world. Hence, the ideal approach would be tackling the real world in a embodied platform: an autonomous agent. Continual learning would then be effective in an autonomous agent or robot, which would learn autonomously through time about the external world, and incrementally develop a set of complex skills and knowledge. Robotic agents have to learn to adapt and interact with their environment using a continuous stream of observations. Some recent approaches aim at tackling continual learning for robotics, but most recent papers on continual learning only experiment approaches in simulation or with static datasets. Unfortunately, the evaluation of those algorithms does not provide insights on whether their solutions may help continual learning in the context of robotics. This paper aims at reviewing the existing state of the art of continual learning, summarizing existing benchmarks and metrics, and proposing a framework for presenting and evaluating both robotics and non robotics approaches in a way that makes transfer between both fields easier.

研究の動機と目的

• 連続学習（CL）の定義と範囲、およびロボティクスへの関連性を明確にする。
• CLアプローチの提示と評価を標準化するための形式的フレームワークを提案する。
• 用語を整理し、CLを関連パラダイム（RL、教師あり/unsupervised learning）と結びつける。
• ロボティクスと非ロボティクスのCL研究間の転移を可能にするベンチマーク、指標、評価質問を特定する。
• ロボティックシステムにおけるCLの機会、課題、今後の方向性を強調する。

提案手法

• 連続学習の形式的フレームワークを提示し、連続分布・タスク・学習シナリオの定義を含む。
• 3つのCLシナリオを導入する：Single-Incremental-Task（SIT）、Multi-Task（MT）、Multi-Incremental-Task（MIT）。
• オンライン学習、少数ショット、カリキュラム、メタ学習、転移、アクティブ学習との用語や関係を明確にする。
• 評価の標準化のための評価質問のセットを提案する（データ利用可能性、事前知識、メモリ/計算、監督、性能）。
• メモリと計算資源の制約を定義し、実践的なCL展開の緩和について論じる。

実験結果

リサーチクエスチョン

• RQ1 動的環境において連続学習を最もよく説明する形式的定義と構造は何か？
• RQ2 CLをロボティクスと非ロボティクスの領域間で公正かつ転送可能な評価を可能にするようにどのように位置づけられるか？
• RQ3 ロボティクスに関連する主要なCLシナリオとデータ/コンテンツ更新タイプは何か、そしてそれらがアルゴリズムにどう影響するか？
• RQ4 実世界のロボットシステムを対象としたCL研究を指針づける指標・ベンチマーク・評価質問は何か？
• RQ5 具現化されたエージェントおよび発達/ロボット学習へCLを適用する際に生じる機会と課題は何か？

主な発見

• 本論文は、連続分布・タスク・訓練セットの定義を含むCLの形式的フレームワークを提供する。
• SIT、MT、MITを時間とともにタスク構造を分類する標準的なCLシナリオとして導入する。
• 関連概念（オンライン学習、カリキュラム学習、メタ学習、転移学習、アクティブ学習）とそれらのCLへの関係を明確にする。
• データ利用、メモリ、計算、監督、性能を評価する包括的な評価質問を提案する。
• コンテンツ更新タイプ（New Instances、New Concepts、NIC）と前処理学習および継続的適応への影響を論じる。
• メモリ/計算制約のフレームワークを概説し、ロボティクスでの実践的展開を反映する緩和を論じる。