[论文解读] Meta-Learning of Compositional Task Distributions in Humans and Machines.

Sreejan Kumar, Ishita Dasgupta+3 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 2

一句话总结

本文在元强化学习中引入了一种组合性任务分布，以对比人类与机器学习。结果表明，尽管人类在使用结构化、生成式模型的组合性任务上泛化能力更强，但标准元学习器在统计上等价但非组合性的对照任务上反而优于人类，揭示了当前元学习方法中的一个关键差距。

ABSTRACT

Modern machine learning systems struggle with sample efficiency and are usually trained with enormous amounts of data for each task. This is in sharp contrast with humans, who often learn with very little data. In recent years, meta-learning, in which one trains on a family of tasks (i.e. a task distribution), has emerged as an approach to improving the sample complexity of machine learning systems and to closing the gap between human and machine learning. However, in this paper, we argue that current meta-learning approaches still differ significantly from human learning. We argue that humans learn over tasks by constructing compositional generative models and using these to generalize, whereas current meta-learning methods are biased toward the use of simpler statistical patterns. To highlight this difference, we construct a new meta-reinforcement learning task with a compositional task distribution. We also introduce a novel approach to constructing a task with the same statistical complexity as the compositional distribution but without explicit compositionality. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find that humans do better in the compositional task distribution whereas the agent does better in the non-compositional null task distribution -- despite comparable statistical complexity. This work highlights a particular difference between human learning and current meta-learning models, introduces a task that displays this difference, and paves the way for future work on human-like meta-learning.

研究动机与目标

• 探究为何人类在任务统计复杂度与元学习智能体相似的情况下，仍能更有效地泛化。
• 识别学习机制的根本差异：人类使用组合性生成模型，而元学习器则依赖于更简单的统计模式。
• 设计一种具有显式组合性结构的新元强化学习任务，以隔离这一差异。
• 构建一个与原始任务具有相同统计复杂度但缺乏组合性的对照任务，以实现受控比较。
• 在两种任务分布上评估并比较人类与智能体的表现，以揭示其学习策略的差异。

提出的方法

• 设计一种新颖的元强化学习环境，基于结构化、分层的任务组件，构建具有组合性任务分布的框架。
• 创建一个对应的对照任务分布，其具有相同的统计特性（如相同的奖励分布、状态-动作空间），但缺乏显式的组合性结构。
• 使用无模型强化学习方法，在循环神经网络架构中训练标准元学习器，以从任务分布中学习。
• 在受控实验条件下，收集人类在组合性任务和对照任务分布上的表现数据。
• 比较人类与元学习器在两种任务类型上的泛化性能和样本效率。
• 通过统计等价性检验，确保对照任务与组合性任务在复杂度上一致，从而将组合性作为关键变量进行隔离。

实验结果

研究问题

• RQ1 人类是否在具有显式组合性结构的任务上优于标准元学习器？
• RQ2 在统计复杂度等价但缺乏组合性的任务中，元学习器是否表现优于人类？
• RQ3 人类与元学习器之间的性能差距是否可归因于任务设计中是否存在组合性结构？
• RQ4 一个具有相同统计复杂度的非组合性任务能否作为有效对照，以隔离组合性的影响？
• RQ5 当前的元学习模型是否未能以类似于人类学习的方式利用组合性结构？

主要发现

• 人类在组合性任务分布上的表现显著优于元学习器，表明其在结构化、分层任务中具有更优的泛化能力。
• 尽管统计复杂度相同，元学习器在非组合性对照任务分布上的表现仍优于人类，表明其更倾向于依赖统计模式而非组合性结构。
• 性能差异并非源于任务复杂度，而是明确由任务设计中是否存在显式组合性所决定。
• 人类似乎使用组合性生成模型进行泛化，而元学习器则依赖于更简单的、非组合性的统计模式。
• 结果揭示了学习机制的根本差异：人类能够利用结构，而当前元学习器未能有效利用组合性任务结构。
• 本研究识别出当前元学习的一个关键局限：即使在统计复杂度匹配的情况下，仍无法模拟人类的组合性泛化能力。