[論文レビュー] From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks

Chenyu Sun, Hangwei Qian+1 more|arXiv (Cornell University)|Jan 20, 2022

Psychological and Educational Research Studies被引用数 13

ひとこと要約

本稿は、人間の好奇心の心理学的理論を想起して、学習における内発的動機づけを促進するため、人工的好奇心のための統一的計算フレームワークを提案する。強化学習、レコメンデーション、分類の分野における好奇心駆動型学習（CDL）をレビューし、新規性や不確実性といったコラティベ変数を関数としてモデル化することにより、サンプル効率、探索、一般化の向上を実証する。

ABSTRACT

Psychological curiosity plays a significant role in human intelligence to enhance learning through exploration and information acquisition. In the Artificial Intelligence (AI) community, artificial curiosity provides a natural intrinsic motivation for efficient learning as inspired by human cognitive development; meanwhile, it can bridge the existing gap between AI research and practical application scenarios, such as overfitting, poor generalization, limited training samples, high computational cost, etc. As a result, curiosity-driven learning (CDL) has become increasingly popular, where agents are self-motivated to learn novel knowledge. In this paper, we first present a comprehensive review on the psychological study of curiosity and summarize a unified framework for quantifying curiosity as well as its arousal mechanism. Based on the psychological principle, we further survey the literature of existing CDL methods in the fields of Reinforcement Learning, Recommendation, and Classification, where both advantages and disadvantages as well as future work are discussed. As a result, this work provides fruitful insights for future CDL research and yield possible directions for further improvement.

研究の動機と目的

• 人間らしい好奇心と人工知能の間のギャップを埋めるために、心理学的好奇心を計算的フレームワークとして形式化すること。
• 過学習、一般化の悪化、計算コストの高騰、データ不足といったAIの主な課題を、内発的動機づけを活用することで解決すること。
• 強化学習、レコメンデーション、分類における既存のCDL手法をレビュー・統合し、サンプル効率と自律的探索の向上を図ること。
• コラティベ変数の相互作用、評価ベンチマーク、セーフティ／プライバシー上の懸念といった、CDLにおける未解決課題を特定すること。
• アクティブラーニング、少数のサンプルでの学習、メタラーニング、説明可能AIにおける好奇心メカニズムの活用を提案することで、今後の研究を導くこと。

提案手法

• 心理学的原則に基づいて人工的好奇心を定量化する統一的フレームワークを提案し、新規性、不確実性、驚きといったコラティベ変数を関数としてモデル化する。
• 複数のコラティベ変数を統合することで、好奇心の喚起を計算的に定式化し、それらの動的相互作用を捉える。
• 強化学習（例：内在的好奇心モジュール）、レコメンデーション（例：好奇心駆動型ユーザーモデリング）、分類（例：オンライン学習のためのC-ELM）におけるCDL手法をレビューする。
• 世界モデルからの予測誤差を好奇心信号として用いることで、強化学習における内発的報酬設計を実施し、探索を促進する。
• 密集した外発的報酬への依存を軽減し、データが限られる環境でも自己教師ありの連続的学習を可能にするために、好奇心メカニズムを適用する。
• 安全性とプライバシー制約を考慮した上で、メタラーニングや説明可能AIへの好奇心の統合を含む、今後の手法的方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 心理学的理論に基づく好奇心を、人工知能の計算的実装可能なフレームワークに形式化する方法は何か？
• RQ2 強化学習、レコメンデーション、分類といった異なるAIタスクにおける好奇心駆動型学習の主な構成要素とメカニズムは何か？
• RQ3 コラティベ変数（例：新規性、不確実性）が人工的好奇心をどのように形作るか、それらの統合がなぜ重要か？
• RQ4 評価、一般化、セーフティの観点から、現在のCDL手法の限界は何か、そしてそれらはどのように是正できるか？
• RQ5 アクティブラーニングや少数のサンプルでの学習の文脈において、好奇心駆動型学習はどのようにサンプル効率、一般化、自律的学習を向上させるか？

主な発見

• 心理学的原則（新規性、不確実性、驚きなど）を統合した、人工的好奇心の統一的計算フレームワークが提案された。
• 強化学習におけるCDL手法は、世界モデルからの予測誤差に基づく内発的報酬を用いることで、探索性とサンプル効率が著しく向上する。
• レコメンデーションシステムでは、好奇心駆動型モデルが人間の認知行動をよりよく模倣し、より魅力的でパーソナライズされた相互作用を実現する。
• オンライン分類の文脈では、C-ELMが自己組織的学習を通じて訓練ステップの削減と過学習の回避が可能であることを示し、好奇心メカニズムの実現可能性を裏付けた。
• 新規性や不確実性といったコラティベ変数の相互作用は、現実的な好奇心の喚起にとって極めて重要であるが、現在のCDL手法ではほとんど無視されている。
• CDLシステムの評価において大きな課題が残っており、人間らしい好奇心を測定する標準化されたベンチマークが存在しないため、心理学および神経科学分野における横断的検証の必要性が浮き彫りになった。