[论文解读] Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations

Tillman Weyde, Radha Manisha Kopparti|arXiv (Cornell University)|Dec 4, 2018

Neural Networks and Applications参考文献 13被引用 5

一句话总结

本文表明，即使在拥有完整训练数据的情况下，标准前馈神经网络仍无法泛化二值向量之间的相等关系。为解决此问题，作者引入了差分整流器（DR）单元作为归纳偏置，使网络在所有测试维度和数据规模下均能实现完美泛化，显著优于标准网络在相等性及相关任务上的表现。

ABSTRACT

Basic binary relations such as equality and inequality are fundamental to relational data structures. Neural networks should learn such relations and generalise to new unseen data. We show in this study, however, that this generalisation fails with standard feed-forward networks on binary vectors. Even when trained with maximal training data, standard networks do not reliably detect equality.We introduce differential rectifier (DR) units that we add to the network in different configurations. The DR units create an inductive bias in the networks, so that they do learn to generalise, even from small numbers of examples and we have not found any negative effect of their inclusion in the network. Given the fundamental nature of these relations, we hypothesize that feed-forward neural network learning benefits from inductive bias in other relations as well. Consequently, the further development of suitable inductive biases will be beneficial to many tasks in relational learning with neural networks.

研究动机与目标

• 探究为何标准前馈神经网络在理论上具备能力的情况下，仍无法泛化二值向量之间的相等关系。
• 考察标准网络在不同向量维度、训练数据规模和网络深度下的泛化性能。
• 设计并评估一种新型归纳偏置机制——差分整流器（DR）单元，以提升相等性及相关关系学习任务的泛化能力。
• 评估DR单元是否对无关或非目标任务的性能产生负面影响，确保其鲁棒性与广泛适用性。
• 探讨标准网络在学习相等性方面失败的更广泛影响，及其对神经网络中关系学习与归纳偏置设计的启示。

提出的方法

• 实现一个使用ReLU激活函数和Softmax输出的标准前馈神经网络（FFNN），用于二值分类（向量对相等 vs. 不相等）。
• 引入差分整流器（DR）单元作为结构化归纳偏置，旨在直接比较输入向量对应元素。
• 评估三种架构：普通FFNN、早期融合（DR单元置于第一隐藏层之前）和中期融合（DR单元插入第一隐藏层之后）。
• 使用Adam优化器和交叉熵损失，在合成生成的二值向量对上进行训练，覆盖多个维度（n=2至n=100）。
• 在未见过的数据上测试泛化性能，包括涵盖所有可能相等对的完整测试集，以及不相等对的随机样本。
• 通过消融研究分析数据覆盖度、训练规模，以及在非相等性任务（如数值比较、数字和、数字反转）上的表现，以评估DR单元的鲁棒性。

实验结果

研究问题

• RQ1 为何标准前馈神经网络即使在最大规模数据上进行训练，仍无法泛化二值向量之间的相等关系？
• RQ2 添加结构化归纳偏置（特别是DR单元）是否能实现前馈网络中相等性检测的可靠泛化？
• RQ3 DR增强网络在不同向量维度、训练数据规模和网络深度下的性能与标准FFNN相比如何？
• RQ4 DR单元是否对无关或非目标任务（如数字和分类或数字反转）的性能产生负面影响？
• RQ5 标准网络在学习相等性方面的失败，对关系学习以及神经网络中归纳偏置设计具有何种更广泛的影响？

主要发现

• 标准前馈神经网络在相等性检测上无法泛化，即使在完整训练数据下准确率也仅达50–75%，且通常仅略高于随机水平（50%）。
• 采用DR单元的中期融合架构在所有向量维度（n=2至n=100）下均实现100%测试准确率，展现出完美泛化能力。
• 中期融合配置即使仅使用10%的总训练数据，也能达到100%准确率，而标准FFNN在增加数据量时性能提升微乎其微。
• DR单元未损害非相等性任务的性能：在数值比较任务中准确率提升至92%（对比标准FFNN的75%），在数字和分类任务中保持100%准确率（对比标准FFNN的77%）。
• 在数字反转任务（DR单元设计不匹配的任务）中，中期融合架构仍达到58%准确率，优于标准FFNN的50%，表明具备一定可迁移性。
• 中期融合架构结合DR单元在所有测试条件下均显著优于其他配置，在相等性及相关任务上实现完美泛化。