[论文解读] Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects?

Simone Brugiapaglia, Matthew Tingchi Liu+1 more|arXiv (Cornell University)|May 9, 2020

Neural Networks and Applications参考文献 6被引用 4

一句话总结

本文研究了神经网络能否在训练数据之外泛化身份效应——例如识别'AA'是语法正确的，而'AB'不是——的能力。基于输入编码不变性的理论框架，研究发现标准的一对一编码和正交编码会阻止泛化，而分布式编码（如3-active-bit）则能实现部分泛化，表明编码选择在决定网络能否在无显式变量实例化的情况下学习抽象代数规则方面起着决定性作用。

ABSTRACT

Often in language and other areas of cognition, whether two components of an object are identical or not determine whether it is well formed. We call such constraints identity effects. When developing a system to learn well-formedness from examples, it is easy enough to build in an identify effect. But can identity effects be learned from the data without explicit guidance? We provide a simple framework in which we can rigorously prove that algorithms satisfying simple criteria cannot make the correct inference. We then show that a broad class of algorithms including deep neural networks with standard architecture and training with backpropagation satisfy our criteria, dependent on the encoding of inputs. Finally, we demonstrate our theory with computational experiments in which we explore the effect of different input encodings on the ability of algorithms to generalize to novel inputs.

研究动机与目标

• 确定神经网络在测试时面对训练期间未见过的新输入，能否学习身份效应（例如区分相同元素与不同元素）
• 研究输入编码如何影响学习算法在训练数据之外的泛化能力
• 形式化学习算法对保持身份效应的变换保持不变的条件
• 将理论分析与计算实验相结合，以验证不同编码下泛化性能的预测

提出的方法

• 作者将学习算法定义为函数 L(D, w)，该函数将训练数据集 D 和输入 w 映射到一个评分，将模型训练和推理合并为单一函数
• 他们引入了对输入的变换 τ，该变换保持身份效应（例如，交换未出现在训练集中的字母），并定义了算法和数据集在 τ 下的不变性
• 一个关键的理论结果表明，如果训练数据 D 和学习算法 L 在 τ 下都保持不变，则对于任意由 τ 关联的 w₁ 和 w₂，都有 L(D, w₁) = L(D, w₂)，这意味着模型无法区分它们
• 本文证明，当输入通过一对一或正交方法（如哈尔编码）编码时，使用反向传播训练的标准深度神经网络在 τ 下保持不变
• 计算实验在二分类任务中比较了三种编码方式：一对一编码、3-active-bit 分布式编码和哈尔编码，以评估身份效应的泛化能力
• 实验通过测量对新输入（如'YY'，应得分为1；'YZ'，应得分为0）的平均评分来评估泛化能力，判断模型是否对身份对分配更高的分数

实验结果

研究问题

• RQ1 神经网络能否在训练集中未出现的新输入上学习身份效应（例如区分相同对与非相同对）？
• RQ2 在何种条件下，输入编码会阻止或促进神经网络中身份效应的泛化？
• RQ3 学习算法和训练数据在变换 τ 下的不变性是否意味着模型无法区分由 τ 关联的输入？
• RQ4 当一对一或正交编码失败时，分布式编码（如3-active-bit）能在多大程度上实现部分泛化？
• RQ5 在使用不同输入编码时，模型对新身份对与非身份对的性能是否存在可测量的差异？

主要发现

• 使用一对一编码训练的神经网络未能实现泛化，对'YY'和'YZ'分配了相似的评分，表明模型无法区分身份对与非身份对
• 使用正交的哈尔编码时，网络同样未能实现泛化，对'YY'和'YZ'的评分无显著差异
• 相比之下，3-active-bit 分布式编码实现了部分泛化，网络对'YY'的平均评分显著高于对'YZ'的评分
• 训练和验证损失曲线显示，在一对一和哈尔编码情况下存在明显差距，表明泛化能力差，而分布式编码则未出现此类差距
• 理论分析证实，正交编码导致在 τ 下的不变性，解释了泛化失败的原因；而非正交的3-active-bit编码打破了这种不变性，从而实现了部分泛化
• 结果支持了编码结构决定了神经网络能否在无显式变量实例化的情况下泛化代数规则（如身份效应）的主张