[论文解读] From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks

Chenyu Sun, Hangwei Qian+1 more|arXiv (Cornell University)|Jan 20, 2022

Psychological and Educational Research Studies被引用 13

一句话总结

本文提出了一种统一的人工好奇心计算框架，受人类好奇心心理学理论的启发，用于驱动人工智能中的内在动机。该框架综述了强化学习、推荐系统和分类任务中的好奇心驱动学习（CDL），通过将好奇心建模为新颖性、不确定性等协变变量的函数，展示了在样本效率、探索能力和泛化性能方面的改进。

ABSTRACT

Psychological curiosity plays a significant role in human intelligence to enhance learning through exploration and information acquisition. In the Artificial Intelligence (AI) community, artificial curiosity provides a natural intrinsic motivation for efficient learning as inspired by human cognitive development; meanwhile, it can bridge the existing gap between AI research and practical application scenarios, such as overfitting, poor generalization, limited training samples, high computational cost, etc. As a result, curiosity-driven learning (CDL) has become increasingly popular, where agents are self-motivated to learn novel knowledge. In this paper, we first present a comprehensive review on the psychological study of curiosity and summarize a unified framework for quantifying curiosity as well as its arousal mechanism. Based on the psychological principle, we further survey the literature of existing CDL methods in the fields of Reinforcement Learning, Recommendation, and Classification, where both advantages and disadvantages as well as future work are discussed. As a result, this work provides fruitful insights for future CDL research and yield possible directions for further improvement.

研究动机与目标

• 通过将心理学好奇心形式化为计算框架，弥合人类好奇心与人工智能之间的鸿沟。
• 通过利用内在动机，解决人工智能中的关键挑战，如过拟合、泛化能力差、计算成本高以及数据有限等问题。
• 综述并整合强化学习、推荐系统和分类任务中现有的CDL方法，以提升样本效率和自主探索能力。
• 识别CDL中的开放性挑战，包括协变变量的相互作用、评估基准以及安全与隐私问题。
• 通过在主动学习、少样本学习、元学习和可解释人工智能中提出基于好奇心机制的研究方向，为未来研究提供指导。

提出的方法

• 提出一个统一的框架，基于心理学原理量化人工好奇心，将其建模为新颖性、不确定性与惊奇等协变变量的函数。
• 通过整合多个协变变量，提出好奇心激发的计算公式，捕捉其动态交互作用。
• 综述强化学习（如内在好奇心模块）、推荐系统（如好奇心驱动的用户建模）和分类任务（如C-ELM用于在线学习）中的CDL方法。
• 在强化学习中通过使用世界模型的预测误差作为好奇心信号，实现内在奖励设计，以促进探索。
• 应用好奇心机制以减少对密集外在奖励的依赖，并在数据稀缺环境中实现自监督的、持续的学习。
• 提出未来的方法论方向，包括在元学习和可解释人工智能中整合好奇心机制，同时考虑安全与隐私约束。

实验结果

研究问题

• RQ1 如何将人类好奇心的心理学理论形式化为人工智能中可计算的框架？
• RQ2 在强化学习、推荐系统和分类等不同人工智能任务中，好奇心驱动学习的关键组成部分与作用机制是什么？
• RQ3 协变变量（如新颖性、不确定性）如何相互作用以塑造人工好奇心？为何其整合至关重要？
• RQ4 当前CDL方法在评估、泛化能力和安全性方面存在哪些局限性？如何加以解决？
• RQ5 好奇心驱动学习在少样本学习和主动学习场景中，如何提升样本效率、泛化能力与自主学习能力？

主要发现

• 提出了一套统一的人工好奇心计算框架，将新颖性、不确定性与惊奇等心理学原理整合为一个连贯的模型。
• 在强化学习中，CDL方法通过基于世界模型预测误差的内在奖励，显著提升了探索效率与样本效率。
• 在推荐系统中，好奇心驱动的模型能更好地模拟人类认知行为，从而实现更具吸引力与个性化的交互体验。
• 在在线分类任务中，C-ELM证明了好奇心机制在减少训练步数、避免过拟合方面具有可行性，通过自组织学习实现。
• 协变变量（如新颖性与不确定性）之间的相互作用对于真实感好奇心的激发至关重要，但当前CDL方法大多忽视了这一点。
• 评估CDL系统仍面临重大挑战，目前尚无标准化基准用于衡量类人好奇心，凸显了心理学与神经科学领域跨学科验证的迫切需求。