[论文解读] How Can BERT Help Lexical Semantics Tasks?

Yile Wang, Leyang Cui+1 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 36被引用 5

一句话总结

本文提出一种方法，通过在skip-gram模型训练过程中整合上下文感知的BERT表示，来增强静态词嵌入在词汇语义任务中的表现。通过利用BERT的动态嵌入来指导中心词表示，该方法在词相似度和类比任务上表现更优，通过更好地消歧词义并捕捉句子级语义，在七个基准数据集上实现了最先进（state-of-the-art）的结果。

ABSTRACT

Contextualized embeddings such as BERT can serve as strong input representations to NLP tasks, outperforming their static embeddings counterparts such as skip-gram, CBOW and GloVe. However, such embeddings are dynamic, calculated according to a sentence-level context, which limits their use in lexical semantics tasks. We address this issue by making use of dynamic embeddings as word representations in training static embeddings, thereby leveraging their strong representation power for disambiguating context information. Results show that this method leads to improvements over traditional static embeddings on a range of lexical semantics tasks, obtaining the best reported results on seven datasets.

研究动机与目标

• 为解决动态嵌入（如BERT）在词汇语义任务中因依赖上下文而带来的局限性。
• 通过在训练过程中利用BERT提供的丰富上下文表示，改进静态词嵌入。
• 开发一种结合静态skip-gram模型优势与上下文嵌入消歧能力的方法。
• 在词相似度和类比基准测试中，相比现有静态和动态嵌入方法，实现更优性能。

提出的方法

• 通过将BERT的上下文感知表示作为中心词的输入，将BERT的动态词嵌入整合到skip-gram训练过程中。
• 在训练过程中，使用BERT的句子级表示动态更新中心词向量，使模型能够捕捉词义消歧。
• 模型保留skip-gram的目标（即预测上下文词），但使用来自BERT的动态中心词向量进行预测。
• 最终的静态词嵌入通过反向传播学习得到，结合了skip-gram的归纳偏置与BERT的语义丰富性。
• 该方法避免依赖预定义的词义或外部消歧工具，支持端到端学习。
• 该方法在标准词汇语义基准数据集上进行评估，包括词相似度和类比任务。

实验结果

研究问题

• RQ1 能否有效利用类似BERT的动态上下文嵌入来改进静态词嵌入在词汇语义任务中的表现？
• RQ2 在skip-gram训练过程中整合BERT的上下文感知表示，对词相似度和类比任务的性能有何影响？
• RQ3 所提出的方法是否在词汇语义基准测试中优于传统静态嵌入和直接平均BERT嵌入的方法？
• RQ4 与静态模型相比，使用动态嵌入在多大程度上减少了词表示的歧义性？
• RQ5 所学习嵌入的最近邻和向量空间几何结构与人类判断及基线模型相比如何？

主要发现

• 所提出方法在七个词汇语义数据集上取得了报告的最佳结果，优于传统静态嵌入和直接基于BERT的平均方法。
• 模型在词类比任务上表现显著提升，尤其在'首都-国家'和'国籍-形容词'配对中，BERT token和BERT avg模型表现欠佳。
• 最近邻分析显示，该模型能为'while'一词检索出语义一致的同义词，如'whilst'、'whereas'和'although'，与人类直觉更吻合，优于基线模型。
• t-SNE可视化结果表明，该模型的嵌入在'he/she'和'policeman/policewoman'等词对中保持了稳定的性别类比关系，展示了更优的向量空间几何结构。
• 注意力可视化结果表明，模型学习到了有意义的注意力模式，对语义相关上下文词给予高注意力，而对停用词（如'the'）注意力较低。
• SynGCN在语义类比任务中表现较差，因其过度依赖句法结构；而所提方法在语义与上下文之间取得平衡，生成了更具鲁棒性的表示。