[论文解读] A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages

Daniel Edmiston|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 36被引用 30

一句话总结

本论文探讨 BERT 风格模型在五种欧洲语言中如何编码形态特征，显示嵌入中的凸性、特征值可分性、上下文消歧义带来的好处，以及与主谓一致相关的定向注意力。

ABSTRACT

This work describes experiments which probe the hidden representations of several BERT-style models for morphological content. The goal is to examine the extent to which discrete linguistic structure, in the form of morphological features and feature values, presents itself in the vector representations and attention distributions of pre-trained language models for five European languages. The experiments contained herein show that (i) Transformer architectures largely partition their embedding space into convex sub-regions highly correlated with morphological feature value, (ii) the contextualized nature of transformer embeddings allows models to distinguish ambiguous morphological forms in many, but not all cases, and (iii) very specific attention head/layer combinations appear to hone in on subject-verb agreement.

研究动机与目标

• 评估离散形态特征及其取值是否在 BERT 风格模型的隐藏表示与跨语言的注意力分布中得到反映。
• 确定嵌入空间是否被划分为对应于特征值的凸区域。
• 评估上下文嵌入是否有助于区分形态上模棱两可的形式。
• 研究注意力模式是否揭示各语言中的主谓一致等一致关系。

提出的方法

• 在多语言 BERT-base 模型上进行两种主要实验范式：(a) 使用 k-means、线性和非线性分类器对隐藏层嵌入中的形态特征值进行有监督分类，跨 12 层；(b) 使用基于 Pearson 卡方统计量的度量分析自注意力分布，以检测注意力头和层中的一致性模式。
• 使用 UD Treebanks 数据和兼容 UD 的词汇表数据，为每个特征值抽样 750 个样本（因数据可用性可能有少许例外），训练/测试划分为 85/15。
• 考察以下语言特征：Case、Gender、Mood、Number、Person、Tense、Verb Form，覆盖 English、French、German、Russian、Spanish；对每种语言使用相应语言的预训练模型（BERT-base 变体）。
• 评估性能随特征复杂度（取值数量、歧义性）和层深的变化，以识别形态信息最显著的位置。

实验结果

研究问题

• RQ1 BERT 风格的模型是否在其隐藏表示中对多语言编码形态特征值？
• RQ2 嵌入空间是否被划分为对应于特征值的凸区域，从而实现线性可分？
• RQ3 上下文化是否有助于區分形态上模棱两可的形式，以及它的局限性？
• RQ4 注意力分布是否能揭示 BERT 模型中的一致关系（主谓）？这些信号是否集中在特定的注意力头/层？
• RQ5 模糊性和特征值数量如何影响跨语言的形态分类性能？

主要发现

• 线性分类器获得高 F1 分数（通常超过 0.9），表明在嵌入中按特征值存在凸性、线性可分的区域。
• K-means 聚类的表现基本接近随机基线，表明监督在提取形态信息方面具有显著帮助。
• 中间到后期层（随语言而异）最有利于特征值分类，德语和俄语显示出最强的分层趋势。
• 上下文嵌入在区分形态模糊形式方面有所提升，但并未完全解决歧义问题，尤其是高度同源的形式。
• 注意力分析显示，少数头-层组合捕捉到一致关系，具有统计显著的平均 Agree 分数，集中在跨语言的早期到中间层。
• 具有较简单形态的语言（English、French、Spanish）在各层均表现稳健，而德语和俄语在某些任务上显示出更清晰的层级峰值。
• 总的来说，BERT 风格模型中的形态信息倾向于在中间层最为显著，并且可以定位到用于一致现象的特定注意力头/层对。