[论文解读] HALMA: Humanlike Abstraction Learning Meets Affordance in Rapid Problem Solving

Sirui Xie, Xiaojian Ma+4 more|arXiv (Cornell University)|Feb 22, 2021

Reinforcement Learning in Robotics参考文献 66被引用 8

一句话总结

本文提出了HALMA，一个用于评估视觉概念发展与快速问题解决中人类抽象学习的新基准。它提出了一种三级泛化框架——感知、概念和算法——在Super Halma游戏环境中使用最小但完整的概念空间，表明具有强归纳偏置（如Transformer）的智能体在稀疏监督下实现了更高的泛化能力和规划效率，尽管在理解功能性和因果结构方面仍存在显著差距。

ABSTRACT

Humans learn compositional and causal abstraction, \ie, knowledge, in response to the structure of naturalistic tasks. When presented with a problem-solving task involving some objects, toddlers would first interact with these objects to reckon what they are and what can be done with them. Leveraging these concepts, they could understand the internal structure of this task, without seeing all of the problem instances. Remarkably, they further build cognitively executable strategies to \emph{rapidly} solve novel problems. To empower a learning agent with similar capability, we argue there shall be three levels of generalization in how an agent represents its knowledge: perceptual, conceptual, and algorithmic. In this paper, we devise the very first systematic benchmark that offers joint evaluation covering all three levels. This benchmark is centered around a novel task domain, HALMA, for visual concept development and rapid problem-solving. Uniquely, HALMA has a minimum yet complete concept space, upon which we introduce a novel paradigm to rigorously diagnose and dissect learning agents' capability in understanding and generalizing complex and structural concepts. We conduct extensive experiments on reinforcement learning agents with various inductive biases and carefully report their proficiency and weakness.

研究动机与目标

• 开发一个系统性基准，用于评估在交互式问题解决任务中跨三个层次的泛化：感知、概念和算法。
• 研究学习智能体如何从最小的、间接的监督中获取组合性和因果性抽象，类似于人类学习。
• 诊断并剖析智能体在结构化但开放的环境中对视觉概念、功能性和因果结构的理解能力。
• 评估抽象知识在快速解决分布外问题和战略规划中的元优势。
• 识别当前强化学习智能体在时间语法、因果推理和长尾分布泛化方面的局限性。

提出的方法

• 基于Super Halma设计一个新任务领域HALMA，其概念空间基于数字、算术和空间关系，具备最小但完整的特性。
• 实施一个包含三种评估协议的基准：训练问题、问题空间中的随机划分，以及动态生成的分布外问题。
• 使用符号和视觉观测来训练和评估智能体，包括MLP、LSTM、Transformer及具有不同归纳偏置的混合架构。
• 引入三个关键指标：有效动作比率（ρₐ）、目标达成比率（ρ₉）和规划效率比率（ρₚ），以量化不同泛化层次上的性能表现。
• 对训练集大小和最大选项长度（max_opt_len）进行消融研究，以评估其对泛化能力和时间结构理解的影响。
• 使用线性分类器对潜在表征进行探测，以评估颜色和MNIST类数字识别的表征质量，从而将表征质量与任务表现关联起来。

实验结果

研究问题

• RQ1 强化学习智能体在视觉基础、交互式环境中，从稀疏、间接监督中学习组合性和因果性抽象的程度如何？
• RQ2 不同的归纳偏置（如注意力机制、循环结构）如何影响智能体在HALMA中跨感知、概念和算法层次的泛化能力？
• RQ3 抽象知识在实现快速、可认知执行的策略以解决分布外问题中起到何种作用？
• RQ4 训练数据量和选项长度的暴露程度如何影响智能体对HALMA中功能性和时间语法的理解？
• RQ5 所学表征在多大程度上捕捉了解耦的、可泛化的属性（如颜色和数字身份），这与任务表现有何关联？

主要发现

• 在1000个迷宫的训练下，智能体在动态测试中表现出显著的性能提升，目标达成率（ρ₉）从30–60%提高到80%，表明更多暴露可提升分布外泛化能力。
• 在随机划分测试中，无状态智能体在1000个迷宫下有效动作比率（ρₐ）达到约90%，但在动态测试中无明显趋势，表明在时间约束下理解功能性的困难依然存在。
• 效率比率（ρₚ）即使在训练数据增加后也稳定在约50%，表明尽管概念学习更好，战略规划能力的提升仍有限。
• 对max_opt_len的消融分析显示，随着选项长度增加，性能显著下降，尤其在动态测试中，ρₐ下降且ρₚ在max_opt_len = 3时急剧下降，凸显学习时间语法和因果结构的挑战。
• 对潜在表征的线性分类显示，SPACE模型在前四种颜色（红、橙、黄、绿）上表现良好，但在其他颜色上表现差，且在长尾数字分布上表现不佳——这在一定程度上解释了HALMA中高无效动作率和低目标达成率的现象。
• 超过300个训练迷宫后，不同归纳偏置的智能体（如Transformer与LSTM）之间的性能差异基本消失，表明数据规模可能掩盖了架构在泛化能力上的差异。