[論文レビュー] Active Learning for Autonomous Intelligent Agents: Exploration, Curiosity, and Interaction

Manuel Lopes, Luis Montesano|arXiv (Cornell University)|Mar 6, 2014

Machine Learning and Algorithms参考文献 236被引用数 7

ひとこと要約

本サーベイは、自律的知能エージェントのためのアクティブラーニング、好奇心駆動型探索、インタラクティブラーニングを統合し、エージェントが学習を加速するために能動的に情報量の多いデータを選択すべきであると提唱する。機械学習、発達的ロボティクス、人間-ロボットインタラクション分野の手法を統合し、エージェント主導の情報選択がサンプル効率を向上させ、複雑で動的な環境における迅速な適応を可能にすることを示している。

ABSTRACT

In this survey we present different approaches that allow an intelligent agent to explore autonomous its environment to gather information and learn multiple tasks. Different communities proposed different solutions, that are in many cases, similar and/or complementary. These solutions include active learning, exploration/exploitation, online-learning and social learning. The common aspect of all these approaches is that it is the agent to selects and decides what information to gather next. Applications for these approaches already include tutoring systems, autonomous grasping learning, navigation and mapping and human-robot interaction. We discuss how these approaches are related, explaining their similarities and their differences in terms of problem assumptions and metrics of success. We consider that such an integrated discussion will improve inter-disciplinary research and applications.

研究の動機と目的

• アクティブラーニング、好奇心、相互作用の3つの分野を、複数の研究コミュニティにまたがって統一すること。
• 探索、好奇心、人間を含むループ（human-in-the-loop）のパラダイム間で、問題の仮定、成功指標、学習メカニズムの共通点と相違点を特定すること。
• エージェント主導のデータ選択が、現実的でオープンエンドな環境における学習効率を向上させ、迅速な適応を可能にすることを強調すること。
• インタラクティブラーニングの過程で人間の教師の認知的差異と共有理解をモデル化する際の理論的・実用的課題に取り組むこと。
• アクティブラーニング、発達的ラーニング、インタラクティブティーチングフレームワークの間の関係を明確化することで、学際的研究を促進すること。

提案手法

• アクティブラーニングを、3つの主要なパラダイムに分類する：探索（環境との相互作用）、好奇心（自己生成の目標）、相互作用（人間を含むフィードバックループ）。
• エージェントが現在の知識を用いて、最も情報量の多いデータを選択することで、無関係なサンプルを減らし、ラベル付けコストを低減すること。
• 逆強化学習とカーネル法を統合し、疎な人間のフィードバック（例：「きれい」または「きれいじゃない」）からユーザーの好みを推定する。
• オンラインでインタラクティブな学習を採用し、曖昧または遅延のある信号であっても、エージェントがリアルタイムのフィードバックに基づいてポリシーを動的に適応させること。
• 教師と学習者の視点を一致させるために共有表現学習を用いる。特に、未知の記号やプロトコルがある場合に有効である。
• 自然言語や物理的補正を用いた、ナビゲーション、 grasping（把持）、オブジェクト再配置といった実世界のロボティクスタスクにアクティブラーニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 自律的エージェントは、複雑で高次元の環境において、最も情報量の多いデータを選択することで、どのように効率的に探索できるか？
• RQ2 好奇心駆動型探索と目的指向探索戦略は、ランダムまたは事前定義された探索を上回って、学習をどのように向上させるか？
• RQ3 人間-ロボットインタラクションの過程で、曖昧または未知のフィードバックプロトコルからエージェントはどのように効果的に学習できるか？
• RQ4 被動的または孤立した学習手法と比較して、インタラクティブアクティブラーニングにおけるサンプル効率の理論的・実用的限界は何か？
• RQ5 共有表現と相互作用プロトコルを同時に学習することで、どのようにして強固な人間-ロボットコミュニケーションと協働を実現できるか？

主な発見

• アクティブラーニングは、エージェントの現在の仮説を最も変えやすいデータを優先することで、必要なラベル付きサンプル数を顕著に削減する。
• フィードバックが遅延している、または曖昧な場合でも、共有表現とプロトコル推定を用いることで、人間のフィードバックを伴うインタラクティブラーニングは、効果的なポリシー学習を達成できる。
• 好奇心駆動型探索により、エージェントは意味のある学習タスクを自律的に生成でき、事前定義された目的に依存するのを軽減できる。
• アクティブラーニングと逆強化学習を統合することで、ロボットは「これはきれい」や「このオブジェクトを動かして」といった疎なフィードバックからユーザーの好みを推定できる。
• ロボティクス、チューティングシステム、ナビゲーションタスクにおける実験的結果から、被動的または孤立した学習アプローチと比較して、インタラクティブでエージェント主導の学習がよりサンプル効率的であることが示された。
• アクティブラーニングの理論的理解はまだ限定的であるが、ロボット科学やマルチメディア分類といった実世界の応用において、既存のアルゴリズムが強く有望であることが示されている。