[论文解读] Learning Representations that Support Extrapolation

Taylor W. Webb, Zachary Dulberg+4 more|arXiv (Cornell University)|Jul 9, 2020

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出上下文归一化（context normalization），一种新颖的归纳偏置，通过强调表征中的关系结构来提升神经网络的泛化能力，实现对训练数据之外的显著外推。在新的视觉类比基准（VAEC）上评估，该方法在零样本泛化到分布外输入方面优于竞争方法，尤其在平移和尺度变换下表现突出。

ABSTRACT

Extrapolation -- the ability to make inferences that go beyond the scope of one's experiences -- is a hallmark of human intelligence. By contrast, the generalization exhibited by contemporary neural network algorithms is largely limited to interpolation between data points in their training corpora. In this paper, we consider the challenge of learning representations that support extrapolation. We introduce a novel visual analogy benchmark that allows the graded evaluation of extrapolation as a function of distance from the convex domain defined by the training data. We also introduce a simple technique, temporal context normalization, that encourages representations that emphasize the relations between objects. We find that this technique enables a significant improvement in the ability to extrapolate, considerably outperforming a number of competitive techniques.

研究动机与目标

• 解决神经网络中外推的根本挑战，即当前模型通常仅在训练数据凸包内通过插值实现泛化。
• 设计一个基准，系统性地评估外推性能随距离训练域远近的变化。
• 设计一种简单而有效的归纳偏置——上下文归一化，以促进表征空间中对称性（平移和尺度不变性）的学习。
• 证明该归纳偏置可使模型在未经过训练暴露的情况下，泛化到未见的、分布外的输入。

提出的方法

• 提出上下文归一化：在与任务相关的时序窗口上对特征进行归一化，以在表征空间中强制实现尺度和平移不变性。
• 将上下文归一化作为特定层的操作，同时约束上游和下游的表征，促进抽象的关系特征学习。
• 设计视觉类比外推挑战（VAEC），一个四元组视觉类比数据集，包含亮度、大小和二维位置的42个离散等级的受控变化。
• 以渐进式评估模式组织VAEC：平移和尺度外推，其中测试样本逐渐远离训练数据的凸包。
• 端到端训练带上下文归一化的模型，并在VAEC、Hill等人（2019）的数据集以及动态物体预测任务上与多种竞争基线进行性能比较。
• 使用前馈编码器，且不显式访问分布外数据，确保外推完全源于上下文归一化的归纳偏置。

实验结果

研究问题

• RQ1 像上下文归一化这样的简单归纳偏置是否能显著提升神经网络的零样本外推能力？
• RQ2 上下文归一化在多大程度上增强了对远离训练数据凸包的输入的泛化能力？
• RQ3 即使在未接触分布外样本的情况下，上下文归一化是否仍能塑造上游层的表征学习，以支持关系泛化？
• RQ4 在不同任务领域中，该方法与现有方法相比在外推性能上表现如何？
• RQ5 像VAEC这样的基准是否能实现分级、系统的外推评估，作为训练域距离的函数？

主要发现

• 在VAEC基准上，上下文归一化显著提升了外推性能，尤其在平移和尺度外推场景中表现突出。
• 该方法在所有评估任务中均优于多种竞争技术，包括基于记忆网络和关系归纳偏置的方法。
• 即使在训练过程中未接触分布外数据，采用上下文归一化的模型仍能有效泛化到远超训练分布的输入。
• 性能提升归因于该归纳偏置在表征空间中促进了尺度和平移不变性，反映了任务中潜在的对称性。
• 结果表明，细微的架构归纳偏置（如上下文归一化）可实现对未见的、结构相似但分布外输入的显著零样本泛化。
• VAEC基准成功实现了分级外推评估，揭示了随着与训练域距离增加，性能明显下降，而上下文归一化能有效缓解这一现象。