[论文解读] Meta-Learning of Structured Task Distributions in Humans and Machines

Sreejan Kumar, Ishita Dasgupta+3 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 27被引用 5

一句话总结

本文提出一种组合语法，用于生成元强化学习的结构化任务分布，并将其与统计上等价但非组合的“零”分布进行对比。研究展示了双重解离：人类在结构化任务上表现优于智能体，而智能体在零任务上表现优于人类，揭示了标准元学习器依赖统计模式而非组合规则，凸显了元学习器归纳偏置与人类之间的关键差距。

ABSTRACT

In recent years, meta-learning, in which a model is trained on a family of tasks (i.e. a task distribution), has emerged as an approach to training neural networks to perform tasks that were previously assumed to require structured representations, making strides toward closing the gap between humans and machines. However, we argue that evaluating meta-learning remains a challenge, and can miss whether meta-learning actually uses the structure embedded within the tasks. These meta-learners might therefore still be significantly different from humans learners. To demonstrate this difference, we first define a new meta-reinforcement learning task in which a structured task distribution is generated using a compositional grammar. We then introduce a novel approach to constructing a "null task distribution" with the same statistical complexity as this structured task distribution but without the explicit rule-based structure used to generate the structured task. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find a double dissociation in which humans do better in the structured task distribution whereas agents do better in the null task distribution -- despite comparable statistical complexity. This work highlights that multiple strategies can achieve reasonable meta-test performance, and that careful construction of control task distributions is a valuable way to understand which strategies meta-learners acquire, and how they might differ from humans.

研究动机与目标

• 探究神经网络中的元学习器是否真正像人类一样学习结构化、组合化的表征。
• 通过构建具有等效统计复杂度但无显式组合结构的控制任务分布，解决元学习评估的挑战。
• 比较人类与智能体在结构化和零任务分布上的表现，以识别学习策略的差异。
• 证明元学习器在结构化任务上表现的提升，可能源于对统计规律的元归纳偏置，而非真正的结构抽象。
• 主张架构的归纳偏置显著影响元学习器所学内容，且仅靠任务分布工程不足以确保获得结构化推理能力。

提出的方法

• 设计一个元强化学习环境，通过组合语法规则生成任务，实现从简单规则递归构建复杂环境。
• 创建一个“零任务分布”，其统计复杂度与结构化分布相同，但不包含任何基于规则的组合性，通过随机采样等效统计特征实现。
• 在两种分布上使用基于模型的强化学习训练标准循环网络，以评估元测试性能。
• 在两种任务分布上开展人类行为实验，以评估学习策略与表现。
• 通过双重解离分析，比较人类与智能体在两种分布上的表现，以分离其潜在学习策略的差异。
• 在后续实验中使用卷积智能体，进一步分离统计学习与组合规则学习，确认智能体依赖统计模式而非结构规则。

实验结果

研究问题

• RQ1 在结构化任务分布上训练的元学习器是否真正学习了底层的组合规则，还是仅利用了统计规律？
• RQ2 人类学习者与人工元学习器在跨结构化与统计上相似但非组合的任务分布时，其泛化能力有何差异？
• RQ3 神经网络架构的元归纳偏置在多大程度上决定了其在元学习任务中学习组合结构还是统计相关性？
• RQ4 一个具有等效统计复杂度但无组合结构的控制任务分布，能否作为评估元学习器获取结构化推理能力的有效基准？
• RQ5 何种架构或训练修改可使元学习器更偏好组合规则学习而非统计模式匹配？

主要发现

• 人类在结构化任务分布上始终优于智能体，表明其对学习并使用底层组合规则存在强烈偏好。
• 尽管统计复杂度相同，智能体在零任务分布上的表现仍优于人类，表明其更偏好统计模式而非组合结构。
• 观察到双重解离：人类受益于结构，智能体受益于统计规律，揭示了其学习策略的正交性。
• 循环元学习器在结构化分布上的表现并非源于规则学习，而是源于下游统计特征，表明其对统计模式存在元归纳偏置。
• 后续使用卷积智能体的实验进一步证实，仅靠统计学习即可实现高性能，进一步分离了统计学习与组合规则使用。
• 结果表明，即使在结构化任务分布上训练，标准元学习器也未获得与人类相同的归纳偏置，这是由于架构的元归纳偏置更倾向于统计而非结构泛化。