[论文解读] Emergence of Separable Manifolds in Deep Language Representations

Jonathan Mamou, Hang Le+5 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 38被引用 11

一句话总结

本文运用平均场理论流形分析，研究深度语言模型中语言表征的几何演化，揭示在掩码、上下文预测的设定下，词性等语言流形会随网络层数逐渐显现并变得更加线性可分。这一现象由流形半径、维度和流形间相关性的降低所驱动，表明上下文化机制能够实现对歧义语言类别的几何解耦。

ABSTRACT

Deep neural networks (DNNs) have shown much empirical success in solving perceptual tasks across various cognitive modalities. While they are only loosely inspired by the biological brain, recent studies report considerable similarities between representations extracted from task-optimized DNNs and neural populations in the brain. DNNs have subsequently become a popular model class to infer computational principles underlying complex cognitive functions, and in turn, they have also emerged as a natural testbed for applying methods originally developed to probe information in neural populations. In this work, we utilize mean-field theoretic manifold analysis, a recent technique from computational neuroscience that connects geometry of feature representations with linear separability of classes, to analyze language representations from large-scale contextual embedding models. We explore representations from different model families (BERT, RoBERTa, GPT, etc.) and find evidence for emergence of linguistic manifolds across layer depth (e.g., manifolds for part-of-speech tags), especially in ambiguous data (i.e, words with multiple part-of-speech tags, or part-of-speech classes including many words). In addition, we find that the emergence of linear separability in these manifolds is driven by a combined reduction of manifolds' radius, dimensionality and inter-manifold correlations.

研究动机与目标

• 探究并分析语言流形（如词性、命名实体和词义）是否以及如何在深度上下文语言表征中浮现。
• 分析这些流形在基于Transformer的模型（如BERT、RoBERTa和GPT）各层中的几何演化过程。
• 确定上下文化（掩码与非掩码标记）在塑造语言流形线性可分性中的作用。
• 量化流形容量（衡量线性可分性的指标）在微调和任务迁移过程中的变化。
• 通过计算神经科学中的技术，建立表示结构与自然语言处理模型中信息含量之间的几何关联。

提出的方法

• 本研究采用平均场理论流形分析（MFTMA），该方法源自计算神经科学，通过其“破碎容量”量化类别流形的线性可分性。
• 流形容量被计算为嵌入语言类别（如词性标签）在模型各层中流形半径、维度和流形间相关性的函数。
• 该分析应用于在掩码与非掩码标记上微调前后的BERT、RoBERTa和GPT模型的表征。
• 该方法使我们能够比较预测（掩码）与上下文化（非掩码）设定下流形几何的差异，揭示了不同的解耦动力学。
• 通过在词性标注任务上训练过程中测量流形容量的演化，追踪微调动态，评估其在其他语言任务上的迁移效果。
• 该方法使我们能够探究任务特定学习如何在超越简单探针准确率的层面上改变表征的几何结构。

实验结果

研究问题

• RQ1 在深度语言表征中，词性等语言类别的可分流形是否浮现？若浮现，其出现在网络层次的何处？
• RQ2 在掩码（预测性）与非掩码（上下文化）表征中，语言流形的线性可分性有何差异？
• RQ3 哪些几何因素——半径、维度或流形间相关性——驱动了上下文语言模型中可分流形的浮现？
• RQ4 在词性标注等语言任务上进行微调，如何影响不同语言类别下语言流形的几何结构？
• RQ5 语言类别的流形容量在多大程度上与下游任务性能相关？

主要发现

• 在掩码的预测性设定中，流形容量随网络层数逐渐增加，表明语言流形的线性可分性逐步提升，尤其在具有多个词性标签的歧义词上表现显著。
• 在非掩码的上下文化表征中，词流形的可分性降低（流形容量减少），但词性等语言流形受益于上下文化，表现出更优的有效分离。
• 可分词性流形的浮现最为显著当词语具有歧义时，表明上下文化通过几何解耦机制解决了多义性问题。
• 流形容量的提升主要由流形半径、维度和流形间相关性的降低所驱动，而非特征方差的增加。
• 在词性标注任务上进行微调后，非掩码表征中词性及其他语言标签（如命名实体识别、语义标签）的流形容量均有所提升，表明任务诱导了表征几何的精细化。
• 在词性标注微调后，掩码表征基本保持不变，表明预测头未因任务特定适应而发生显著变化。