[论文解读] BERT Rediscovers the Classical NLP Pipeline

Ian Tenney, Dipanjan Das+1 more|arXiv (Cornell University)|May 15, 2019

Topic Modeling参考文献 14被引用 50

一句话总结

本论文通过边缘探测任务对 BERT 进行探查，显示语言信息以管线式的方式组织，从句法到语义，并且个别句子可以根据更高层的线索修正较低层次的决策。

ABSTRACT

Pre-trained text encoders have rapidly advanced the state of the art on many NLP tasks. We focus on one such model, BERT, and aim to quantify where linguistic information is captured within the network. We find that the model represents the steps of the traditional NLP pipeline in an interpretable and localizable way, and that the regions responsible for each step appear in the expected sequence: POS tagging, parsing, NER, semantic roles, then coreference. Qualitative analysis reveals that the model can and often does adjust this pipeline dynamically, revising lower-level decisions on the basis of disambiguating information from higher-level representations.

研究动机与目标

• 量化在 BERT 的何处通过源自传统 NLP 管线的探测任务对不同语言抽象进行编码。
• 确定编码是否遵循从句法到语义的预期分层顺序。
• 评估 BERT 是否以固定的层序处理句子，或是否利用更高层信息动态修正决策。

提出的方法

• 使用边缘探测通过在多个任务上的探测分类器从冻结的 BERT 层中提取语言信息。
• 应用八个任务（POS、Constituents、Dependencies、Entities、SRL、Coreference、SPR、SemEval relations），以微平均 F1 作为评估指标。
• 通过跨层的标量混合来汇聚层信息，以获得每个任务的表示。
• 通过在逐步增大的层子集上训练探测来计算累计分数，以观察分层增益。
• 将混合权重的重心和基于累计分数的期望层定义为互补的度量。

实验结果

研究问题

• RQ1 BERT 是否以与传统 NLP 管线一致的顺序（POS、句法、语义、共指）编码语言信息？
• RQ2 在各层中，句法信息与语义信息的表示有多局部？
• RQ3 更高层次的表示是否在按句子层面影响或修正较低层次的决策？
• RQ4 边缘探测结果在 BERT-base 与 BERT-large 编码器之间有何差异？
• RQ5 个别句子是否会出现由更高层信息驱动的非序列处理决策？

主要发现

• 在各层中观察到一个一致的进展：基本的句法信息先于更复杂的语义信息。
• 句法信息往往更易定位到少数几层，而语义信息分布在多层。
• 分数差异显示大多数示例在早期（早期层）就被解决，而累计分数显示在更高层次的语义任务中仍有持续增益。
• 按示例分析表明，个别句子可以基于更高层信息（如谓词-论元结构）修正早期决策。
• 观察到的排序在 BERT-large 和 BERT-base 上都成立，任务相关层的相对定位相似。