[论文解读] Distinguishing rule- and exemplar-based generalization in learning systems

Ishita Dasgupta, Erin Grant+1 more|arXiv (Cornell University)|Oct 8, 2021

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种受认知心理学启发的实验协议，用于区分机器学习系统中的规则基础与范例基础泛化。通过隔离两种归纳偏置——特征层面偏置（对特定特征的偏好）和范例 vs. 规则偏置（使用特征稀疏 vs. 密集表示）——作者表明，标准神经网络既具有特征偏置又属于范例基础类型，凸显了其在系统性泛化和公平性方面的局限性。

ABSTRACT

Machine learning systems often do not share the same inductive biases as humans and, as a result, extrapolate or generalize in ways that are inconsistent with our expectations. The trade-off between exemplar- and rule-based generalization has been studied extensively in cognitive psychology; in this work, we present a protocol inspired by these experimental approaches to probe the inductive biases that control this tradeoff in category-learning systems. We isolate two such inductive biases: feature-level bias (differences in which features are more readily learned) and exemplar or rule bias (differences in how these learned features are used for generalization). We find that standard neural network models are feature-biased and exemplar-based, and discuss the implications of these findings for machine learning research on systematic generalization, fairness, and data augmentation.

研究动机与目标

• 识别并隔离控制机器学习系统在训练数据之外泛化行为的两个关键归纳偏置——特征层面偏置与范例 vs. 规则偏置。
• 开发一种受认知心理学启发的实验协议，以受控且诊断性的方式探测这些偏置。
• 评估标准机器学习模型（如神经网络、高斯过程）在合成数据、图像和文本领域中表现出的这些偏置。
• 证明现有指标（如最差组准确率和虚假相关性）不足以捕捉这些潜在的归纳偏置。
• 探讨这些偏置在系统性泛化、公平性以及机器学习中数据增强方面的规范性影响。

提出的方法

• 设计一种合成数据生成协议，其中判别性特征（如形状）决定类别标签，而干扰特征（如颜色）在因果上无关但出现在训练数据中。
• 训练并评估多种模型族：前馈神经网络（NNs）、线性广义线性模型（GLMs）和高斯过程（GPs），并控制正则化和核长度尺度参数。
• 使用一种新指标——范例 vs. 规则倾向性（EvR），量化模型是基于与训练范例的相似性（范例基础）还是基于抽象规则（规则基础）进行泛化。
• 通过确保合成数据中特征重要性相等，控制特征层面偏置，从而隔离范例 vs. 规则偏置。
• 将该协议应用于真实世界领域（CelebA 和 IMDb），以评估在更复杂、自然化设置下的泛化行为。
• 使用显式规则基础模型（带 L1 正则化的线性模型）和范例基础模型（短长度尺度的 GPs）作为基准，验证该协议的有效性。

实验结果

研究问题

• RQ1 我们如何在机器学习系统中隔离并测量两种不同的归纳偏置——特征层面偏置与范例 vs. 规则偏置？
• RQ2 标准神经网络在类别学习任务中在多大程度上表现出范例基础泛化和特征层面偏置？
• RQ3 L1/L2 正则化和核长度尺度等模型超参数在多大程度上影响模型的范例 vs. 规则倾向性？
• RQ4 现有的公平性和泛化指标（如最差组准确率、虚假相关性）是否足以捕捉模型的潜在归纳偏置？
• RQ5 这些偏置对现实世界机器学习应用中的系统性泛化、公平性以及数据增强有何影响？

主要发现

• 标准神经网络表现出强烈的范例基础偏置，其泛化依赖于与训练样本的相似性，而非抽象规则。
• 神经网络也具有特征偏置，即使两种特征（如形状与颜色）预测能力相同，仍表现出对某些特征（如形状）的偏好。
• 广义线性模型中使用 L1 正则化可将范例 vs. 规则倾向性降至零，证实特征稀疏性可诱导规则基础行为。
• 具有较短长度尺度参数的高斯过程表现出更高的范例倾向性，证实局部决策边界会促进范例基础泛化。
• 所提出的 EvR 指标成功捕捉了不同模型族和数据领域间范例与规则基础泛化之间的权衡。
• 现有指标（如最差组准确率和虚假相关性）无法诊断出模型的潜在归纳偏置，表明需要更精细的评估协议。