[论文解读] Exploring Exploration: Comparing Children with RL Agents in Unified Environments

Eliza Kosoy, Jasmine Collins+7 more|arXiv (Cornell University)|May 6, 2020

Reinforcement Learning in Robotics参考文献 37被引用 7

一句话总结

本文提出使用DeepMind Lab作为统一平台，直接比较儿童与强化学习（RL）智能体在受控的、基于导航的环境中的探索行为。结果表明，儿童表现出更高效、目标导向的、类似深度优先搜索（DFS）的探索行为，而RL智能体则依赖于回顾性、奖励驱动的策略，凸显了当前RL探索方法中的关键差距。

ABSTRACT

Research in developmental psychology consistently shows that children explore the world thoroughly and efficiently and that this exploration allows them to learn. In turn, this early learning supports more robust generalization and intelligent behavior later in life. While much work has gone into developing methods for exploration in machine learning, artificial agents have not yet reached the high standard set by their human counterparts. In this work we propose using DeepMind Lab (Beattie et al., 2016) as a platform to directly compare child and agent behaviors and to develop new exploration techniques. We outline two ongoing experiments to demonstrate the effectiveness of a direct comparison, and outline a number of open research questions that we believe can be tested using this methodology.

研究动机与目标

• 通过在统一环境中实现直接的行为比较，弥合儿童类人探索与当前RL智能体之间的差距。
• 探究儿童内在的、高效的探索方式是否能为强化学习中更好探索算法的设计提供启示。
• 测试奖励设计（稀疏与密集）对儿童及RL智能体在探索与泛化方面的影响。
• 识别儿童与智能体在探索策略上的定性与定量差异，特别是目标导向型探索与随机探索之间的区别。
• 开发一种方法论，利用发展心理学的洞见指导更样本高效且泛化能力更强的RL智能体的构建。

提出的方法

• 使用DeepMind Lab作为标准化的模拟环境，供儿童与RL智能体执行探索任务。
• 设计两项受控实验：一项关于迷宫导航中的目标导向型探索，另一项关于奖励结构影响（稀疏、密集、无目标）。
• 记录并分析儿童与智能体的行为轨迹，以比较探索模式，如深度优先搜索（DFS）与随机游走行为。
• 采用时间-至目标、访问的唯一状态数量、路径效率等定量指标，比较不同条件下的表现。
• 运用心理模型推断，评估儿童是否利用对环境的内在表征来引导高效搜索，而大多数RL智能体则不具备这种能力。
• 在智能体上应用现有的RL探索算法（如好奇心、内在奖励），并在相同条件下与儿童行为进行比较。

实验结果

研究问题

• RQ1 与通常依赖随机或回顾性探索的RL智能体相比，儿童是否表现出更高效、目标导向的探索行为（如类似DFS）？
• RQ2 密集奖励的存在如何影响儿童的探索行为，以及在最优路径被阻断时，其泛化能力如何？
• RQ3 在迷宫环境中，儿童与RL智能体在受干扰或无关刺激影响下的敏感度有多大差异？
• RQ4 儿童能否整合并保留探索过程中获得的信息以支持未来任务表现？与RL智能体相比有何不同？
• RQ5 在探索过程中遭遇负面反馈或不安全条件时，儿童与智能体如何响应？他们各自采用何种安全探索策略？

主要发现

• 在实验1中，儿童表现出类似DFS的探索行为，系统性地以深度优先方式向目标推进，表明其使用了内部空间模型。
• 相比之下，大多数RL智能体未能复现这种类似DFS的行为，而是依赖于由奖励新奇性或好奇心驱动的回顾性探索。
• 在密集奖励条件下，儿童的探索行为少于稀疏或无目标条件，但在路径被阻断的最终阶段仍表现良好。
• 出人意料的是，儿童在密集奖励条件下的探索减少并未损害其在路径受阻时找到目标的能力，表明其对过拟合具有较强抵抗力。
• 初步结果显示，儿童较少陷入局部最优或过度拟合于密集奖励，而许多RL智能体则存在此类问题。
• 研究结果表明，儿童的探索更具前瞻性与目标导向性，而RL智能体则主要对环境反馈做出反应。