[论文解读] Learning to Make Analogies by Contrasting Abstract Relational Structure

Felix Hill, Adam Santoro+3 more|arXiv (Cornell University)|Jan 31, 2019

Multimodal Machine Learning Applications参考文献 29被引用 42

一句话总结

论文表明，神经网络可以通过训练对比抽象关系结构（LABC）来实现灵活的类比推理，从而实现向新领域的迁移以及在视觉与符号任务上的更好泛化。

ABSTRACT

Analogical reasoning has been a principal focus of various waves of AI research. Analogy is particularly challenging for machines because it requires relational structures to be represented such that they can be flexibly applied across diverse domains of experience. Here, we study how analogical reasoning can be induced in neural networks that learn to perceive and reason about raw visual data. We find that the critical factor for inducing such a capacity is not an elaborate architecture, but rather, careful attention to the choice of data and the manner in which it is presented to the model. The most robust capacity for analogical reasoning is induced when networks learn analogies by contrasting abstract relational structures in their input domains, a training method that uses only the input data to force models to learn about important abstract features. Using this technique we demonstrate capacities for complex, visual and symbolic analogy making and generalisation in even the simplest neural network architectures.

研究动机与目标

• 通过聚焦抽象关系结构，激发并使神经网络具备类比推理能力。
• 提出并评估一种名为 Learning Analogies by Contrasting (LABC) 的训练方法。
• 在视觉和符号环境中，展示对新领域、目标领域及领域取值的泛化能力。

提出的方法

• 使用 CNN 感知前端提取每个图像面板的嵌入。
• 用 RNN 处理序列，通过四次传递对候选完成进行评分，并对分数进行 softmax。
• 使用对比目标进行训练，其中错误答案在语义/合理性上相关，以促使超越表面相似性的抽象。
• 在多种架构上将 LABC 与常规训练进行比较，以测试泛化性。
• 将该方法扩展到符号类比任务，采用类似的对比训练策略。

实验结果

研究问题

• RQ1 神经网络是否能够通过关注抽象的关系结构而非表面特征来学习灵活的类比？
• RQ2 使用对比关系结构进行训练（LABC）是否可以提升对新领域、目标领域和未见属性值的泛化？
• RQ3 LABC 的优势是依赖于特定架构，还是在不同网络模型间具有可泛化性？
• RQ4 LABC 是否可以扩展到超越视觉输入的符号离散域类比问题？

主要发现

• LABC 能在针对对比的测试问题上实现约 83% 的准确率，相较于随机答案约 58% 的准确率，在对新领域转移中的类比推理更稳健。
• 在新颖的目标域中，LABC 保持较高的准确率（对比测试约 80%），高于随机答案基线（约 60%）。
• LABC 显著提升对未见取值的外推能力（例如对比训练为 62%，对随机为 43%），并且在对比与随机训练相结合时，取得平衡的增益。
• 在各种架构（RNN、ResNet-50、并行 ResNet-50、以及 Parallel Relation Net）上，LABC 持续地提升了在新域转移任务上的表现，相较于常规训练。
• LABC 促进隐藏状态空间中更明确的关系表示，在经 LABC 训练的模型中观察到以关系为中心的聚类。
• 在符号类比中，显式 LABC（LABC；显式 SMT）达到约 89% 的测试准确率，优于其他训练方案（如在不同方法下为 0.62–0.77）。