[论文解读] Computational Theories of Curiosity-Driven Learning

Pierre‐Yves Oudeyer|arXiv (Cornell University)|Feb 28, 2018

Child and Animal Learning Development参考文献 67被引用 32

一句话总结

本文提出，通过预测误差和学习进展等计算框架建模的内在好奇心驱动学习，使智能体能够在稀疏或具有欺骗性的奖励环境中自主探索并发现技能。通过将内在动机与世界模型学习相结合，该方法支持发展机器人中的高效终身学习与自组织，展现出在复杂、信息匮乏环境中的鲁棒性。

ABSTRACT

What are the functions of curiosity? What are the mechanisms of curiosity-driven learning? We approach these questions about the living using concepts and tools from machine learning and developmental robotics. We argue that curiosity-driven learning enables organisms to make discoveries to solve complex problems with rare or deceptive rewards. By fostering exploration and discovery of a diversity of behavioural skills, and ignoring these rewards, curiosity can be efficient to bootstrap learning when there is no information, or deceptive information, about local improvement towards these problems. We also explain the key role of curiosity for efficient learning of world models. We review both normative and heuristic computational frameworks used to understand the mechanisms of curiosity in humans, conceptualizing the child as a sense-making organism. These frameworks enable us to discuss the bi-directional causal links between curiosity and learning, and to provide new hypotheses about the fundamental role of curiosity in self-organizing developmental structures through curriculum learning. We present various developmental robotics experiments that study these mechanisms in action, both supporting these hypotheses to understand better curiosity in humans and opening new research avenues in machine learning and artificial intelligence. Finally, we discuss challenges for the design of experimental paradigms for studying curiosity in psychology and cognitive neuroscience. Keywords: Curiosity, intrinsic motivation, lifelong learning, predictions, world model, rewards, free-energy principle, learning progress, machine learning, AI, developmental robotics, development, curriculum learning, self-organization.

研究动机与目标

• 理解好奇心驱动学习在发展系统中的计算机制。
• 研究内在动机如何在稀疏或具有欺骗性的奖励环境中支持探索。
• 考察好奇心在构建准确世界模型和实现自组织课程学习中的作用。
• 弥合发展机器人学与人类好奇心及认知发展理论之间的见解。
• 为心理学和认知神经科学中的实验范式提出可检验的假设。

提出的方法

• 本文采用预测误差和学习进展等规范性计算框架，形式化内在动机。
• 应用自由能原理作为统一理论，理解好奇心作为变分贝叶斯推断的机制。
• 通过将世界模型学习与内在奖励相结合，引导探索朝向信息丰富的行为。
• 发展机器人实验模拟人工智能体中的类儿童学习，以在受控环境中测试这些机制。
• 通过优先选择能最大化学习进展和模型改进的行为，支持课程学习。
• 利用预测编码和主动推断，建模智能体如何选择能减少环境不确定性行为的机制。

实验结果

研究问题

• RQ1 内在动机如何在稀疏或具有欺骗性的奖励环境中驱动高效探索？
• RQ2 好奇心在发展学习系统中出现的计算机制是什么？
• RQ3 好奇心如何促进世界模型的获取与技能多样性的提升？
• RQ4 好奇心以何种方式实现无需外部监督的自组织、终身学习？
• RQ5 好奇心的计算模型如何为认知科学和心理学中的实验设计提供启示？

主要发现

• 好奇心驱动学习使智能体即使在缺乏外部奖励或奖励具有误导性时，也能发现有用技能。
• 以学习进展作为内在奖励信号，能有效引导探索朝向信息丰富的行为，并提升世界模型的准确性。
• 基于预测误差的好奇心在稀疏奖励环境中，相比随机或目标导向策略，能实现更高效的探索。
• 将好奇心与世界模型学习相结合，可支持通过自组织课程实现复杂、分层技能的涌现。
• 好奇心的计算模型与儿童观察到的发展轨迹一致，表明生物系统与人工系统中存在共享机制。
• 该框架为设计实验范式以研究认知神经科学和心理学中的好奇心提供了基础。