[论文解读] Active Learning for Autonomous Intelligent Agents: Exploration, Curiosity, and Interaction

Manuel Lopes, Luis Montesano|arXiv (Cornell University)|Mar 6, 2014

Machine Learning and Algorithms参考文献 236被引用 7

一句话总结

本综述统一了主动学习、好奇心驱动探索与人机交互学习，针对自主智能体提出：智能体应主动选择信息量丰富的数据以加速学习。该综述整合了机器学习、发育机器人学与人机交互领域的研究方法，表明由智能体主导的信息选择可提升样本效率，并实现在复杂动态环境中的快速适应。

ABSTRACT

In this survey we present different approaches that allow an intelligent agent to explore autonomous its environment to gather information and learn multiple tasks. Different communities proposed different solutions, that are in many cases, similar and/or complementary. These solutions include active learning, exploration/exploitation, online-learning and social learning. The common aspect of all these approaches is that it is the agent to selects and decides what information to gather next. Applications for these approaches already include tutoring systems, autonomous grasping learning, navigation and mapping and human-robot interaction. We discuss how these approaches are related, explaining their similarities and their differences in terms of problem assumptions and metrics of success. We consider that such an integrated discussion will improve inter-disciplinary research and applications.

研究动机与目标

• 统一多个研究领域中关于自主智能体学习的多样化方法——主动学习、好奇心与交互学习。
• 识别探索、好奇心与人在回路范式在问题假设、成功度量标准与学习机制方面的共性与差异。
• 突出智能体主导的数据选择如何提升学习效率，并实现在真实世界开放性环境中的快速适应。
• 解决在交互学习过程中建模人类教师认知差异与共享理解的理论与实际挑战。
• 通过厘清主动学习、发展学习与交互教学框架之间的关联，促进跨学科研究。

提出的方法

• 将主动学习划分为三种核心范式：探索（环境交互）、好奇心（自生成目标）与交互（人在回路反馈）。
• 提出智能体应基于当前知识选择最具信息量的数据，以最小化无信息样本并降低标注成本。
• 整合逆强化学习与核方法，从稀疏人类反馈（如“干净”或“不干净”）中泛化推断用户偏好。
• 采用在线、交互式学习，使智能体能基于实时反馈动态调整策略，即使面对模糊或延迟的信号亦可。
• 利用共享表征学习对齐教师与学习者的视角，尤其在符号或协议未知的情况下。
• 将主动学习应用于真实世界机器人任务，如导航、抓取与物体重定位，通过自然语言或物理修正进行交互。

实验结果

研究问题

• RQ1 自主智能体如何通过选择最具信息量的数据，高效探索复杂高维环境？
• RQ2 好奇心驱动与目标导向的探索策略在多大程度上可超越随机或预设探索，提升学习效果？
• RQ3 在人机交互中，智能体如何有效学习来自模糊或未知反馈协议的信息？
• RQ4 与被动或孤立学习方法相比，交互式主动学习在样本效率方面的理论与实际极限是什么？
• RQ5 如何协同学习共享表征与交互协议，以实现稳健的人机通信与协作？

主要发现

• 主动学习通过优先选择最可能改变智能体当前假设的数据，显著减少所需标注样本数量。
• 即使反馈延迟或模糊，通过共享表征与协议推理，结合人类反馈的交互学习仍可实现有效的策略学习。
• 好奇心驱动的探索使智能体能够自主生成有意义的学习任务，降低对预设目标的依赖。
• 将主动学习与逆强化学习结合，可使机器人从稀疏反馈（如“这是干净的”或“移动这个物体”）中推断用户偏好。
• 在机器人学、辅导系统与导航任务中的实证结果表明，交互式、智能体主导的学习比被动或孤立学习方法更具样本效率。
• 尽管对主动学习的理论理解仍有限，但现有算法在机器人科学与多媒体分类等实际应用中展现出强大潜力。