[论文解读] Learned feature representations are biased by complexity, learning order, position, and more

Andrew K. Lampinen, Stephanie C. Y. Chan+1 more|arXiv (Cornell University)|May 9, 2024

Neural Networks and Applications被引用 4

一句话总结

本文研究了非计算因素（如特征复杂度、学习顺序、出现频率和输出位置）如何在深度神经网络的特征表示中引入系统性偏差，即使这些特征在计算上扮演相同角色。尽管任务性能相当，模型仍更强烈地表示更简单或更早学习的特征，揭示了基于梯度的表征学习中根本性的归纳偏差，这对人工智能和神经科学中的可解释性及跨系统比较构成了挑战。

ABSTRACT

Representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system's computations. In this work, however, we explore surprising dissociations between representation and computation that may pose challenges for such efforts. We create datasets in which we attempt to match the computational role that different features play, while manipulating other properties of the features or the data. We train various deep learning architectures to compute these multiple abstract features about their inputs. We find that their learned feature representations are systematically biased towards representing some features more strongly than others, depending upon extraneous properties such as feature complexity, the order in which features are learned, and the distribution of features over the inputs. For example, features that are simpler to compute or learned first tend to be represented more strongly and densely than features that are more complex or learned later, even if all features are learned equally well. We also explore how these biases are affected by architectures, optimizers, and training regimes (e.g., in transformers, features decoded earlier in the output sequence also tend to be represented more strongly). Our results help to characterize the inductive biases of gradient-based representation learning. We then illustrate the downstream effects of these biases on various commonly-used methods for analyzing or intervening on representations. These results highlight a key challenge for interpretability $-$ or for comparing the representations of models and brains $-$ disentangling extraneous biases from the computationally important aspects of a system's internal representations.

研究动机与目标

• 研究非计算因素（如特征复杂度和学习顺序）如何在深度神经网络的表征学习中引入偏差。
• 检验此类偏差是否在架构、优化器和训练策略之间持续存在，即使特征在模型计算中贡献相同。
• 评估这些表征偏差对可解释性、模型比较以及基于神经科学启发的脑功能表征分析的影响。
• 探索是否可通过干预手段纠正或缓解这些偏差，以及这些偏差是否为特定训练设置的产物。

提出的方法

• 作者在受控的合成数据集上训练多种深度学习模型（包括MLP、ResNet和Transformer），其中多个抽象特征被显式定义并赋予相同的计算角色。
• 他们操控特征复杂度（线性与非线性）、学习顺序（顺序训练与同时训练）、特征在输入中的出现频率，以及在序列头中的输出位置等属性。
• 通过基于激活的方法（包括表征相似性分析，RSA）分析表征，比较不同特征在各层和模型中被编码的强度。
• 研究评估了多种架构和优化器，以评估泛化性，并识别模型结构与偏差模式之间的交互作用。
• 设计干预措施，通过改变训练顺序和聚焦于与困难特征相关联的输入模式，在简单模型中纠正偏差。

实验结果

研究问题

• RQ1 特征复杂度在不考虑其计算贡献的前提下，如何影响学习表征的强度和密度？
• RQ2 特征学习顺序在多大程度上导致其在模型内部激活中的表征偏差？
• RQ3 数据中特征的出现频率和网络输出序列中的位置如何影响表征强度？
• RQ4 这些偏差是否在不同架构、优化器或训练策略之间存在差异？能否被逆转或纠正？
• RQ5 此类表征偏差对解释模型行为，或比较人工与生物神经表征有何影响？

主要发现

• 即使两者对模型输出的贡献相同，计算更简单的特征（如线性可计算的特征）在表征中也比更复杂的特征更强且更密集。
• 在训练过程中更早学习的特征在模型内部激活中始终被更强地表示，表明表征学习具有强烈的路径依赖性。
• 在训练数据中出现频率更高的特征即使其计算角色与出现频率较低的特征相同，也被更强烈地表征。
• 在Transformer中，输出序列中更早解码的特征被更强地表征，表明序列架构中存在位置依赖性偏差。
• 这些偏差在不同架构和优化器中具有鲁棒性，尽管在特定情况下复杂交互可能使偏差发生转移或反转。
• 虽然通过微调和输入模式干预可在简单模型中实现偏差纠正，但此类方法难以扩展至大规模模型或真实世界系统。