[論文レビュー] Computational Theories of Curiosity-Driven Learning

Pierre‐Yves Oudeyer|arXiv (Cornell University)|Feb 28, 2018

Child and Animal Learning Development参考文献 67被引用数 32

ひとこと要約

本論文は、予測誤差や学習進捗といった計算フレームワークを用いてモデル化された好奇心駆動型学習が、報酬が疎であるか欺瞞的である環境において、エージェントが自律的になぞり、スキルを発見することを可能にすると提案している。内発的動機付けとワールドモデル学習を統合することで、発達的ロボティクスにおける効率的で自己組織的な生涯学習を支援し、情報が乏しい複雑な状況でも頑健であることが示された。

ABSTRACT

What are the functions of curiosity? What are the mechanisms of curiosity-driven learning? We approach these questions about the living using concepts and tools from machine learning and developmental robotics. We argue that curiosity-driven learning enables organisms to make discoveries to solve complex problems with rare or deceptive rewards. By fostering exploration and discovery of a diversity of behavioural skills, and ignoring these rewards, curiosity can be efficient to bootstrap learning when there is no information, or deceptive information, about local improvement towards these problems. We also explain the key role of curiosity for efficient learning of world models. We review both normative and heuristic computational frameworks used to understand the mechanisms of curiosity in humans, conceptualizing the child as a sense-making organism. These frameworks enable us to discuss the bi-directional causal links between curiosity and learning, and to provide new hypotheses about the fundamental role of curiosity in self-organizing developmental structures through curriculum learning. We present various developmental robotics experiments that study these mechanisms in action, both supporting these hypotheses to understand better curiosity in humans and opening new research avenues in machine learning and artificial intelligence. Finally, we discuss challenges for the design of experimental paradigms for studying curiosity in psychology and cognitive neuroscience. Keywords: Curiosity, intrinsic motivation, lifelong learning, predictions, world model, rewards, free-energy principle, learning progress, machine learning, AI, developmental robotics, development, curriculum learning, self-organization.

研究の動機と目的

• 発達的システムにおける好奇心駆動型学習の背後にある計算的メカニズムを理解すること。
• 内発的動機付けが報酬が疎または欺瞞的である環境での探索をどのように支援するかを調査すること。
• 好奇心が正確なワールドモデルの構築と自己組織的カリキュラム学習の実現に果たす役割を検討すること。
• 発達的ロボティクスの知見を人間の好奇心と認知発達の理論と結びつけること。
• 心理学および認知神経科学における実験的パラダイムのための検証可能な仮説を提示すること。

提案手法

• 本論文は、予測誤差や学習進捗といったノーマティブな計算フレームワークを用いて、内発的動機付けを形式化している。
• 自由エネルギー原理を、好奇心を変分ベイズ推論として理解する統一理論として適用している。
• ワールドモデル学習と内発的報酬を統合し、情報的な行動へ向かう探索を誘導する。
• 発達的ロボティクスの実験は、人工エージェントにおける子供のような学習を模擬することで、これらのメカニズムを制御された環境でテストしている。
• 学習進捗とモデル改善を最大化する行動を優先することで、カリキュラム学習を支援する。
• 予測符号化と能動的推論を用いて、エージェントが環境に関する不確実性を低減する行動を選択する仕組みをモデル化している。

実験結果

リサーチクエスチョン

• RQ1 内発的動機付けは、報酬が疎または欺瞞的である環境で、どのように効率的な探索を駆動するのか？
• RQ2 発達的学習システムにおける好奇心の出現を裏付ける計算的メカニズムは何か？
• RQ3 好奇心は、ワールドモデルの習得とスキル多様性の獲得にどのように寄与するか？
• RQ4 好奇心は、外部の監視なしに自己組織的かつ生涯にわたる学習をどのように可能にするか？
• RQ5 好奇心の計算モデルは、認知科学および心理学における実験的設計にどのように寄与できるか？

主な発見

• 好奇心駆動型学習により、外部報酬が存在しないか誤解を招く状況下でも、エージェントは有用なスキルを発見できる。
• 学習進捗を内発的報酬信号として用いることで、情報的な行動へ向かう探索が効果的に誘導され、ワールドモデルの正確性が向上する。
• 予測誤差に基づく好奇心は、報酬が疎な環境において、ランダムまたは目的指向の戦略に比べてより効率的な探索を実現する。
• 好奇心とワールドモデル学習の統合により、自己組織的カリキュラムを通じて、複雑で階層的なスキルの出現が支援される。
• 好奇心の計算モデルは、子供の発達経路と一致しており、生物学的および人工的システムに共通するメカニズムを示唆している。
• このフレームワークは、認知神経科学および心理学における好奇心の研究のための実験的パラダイム設計の基盤を提供する。