[论文解读] A Survey on Contextual Embeddings

Qi Liu, Matt J. Kusner+4 more|arXiv (Cornell University)|Mar 16, 2020

Topic Modeling参考文献 77被引用 114

一句话总结

本综述全面概述了上下文嵌入（contextual embeddings），涵盖其通过语言建模进行预训练、跨语言适应、在下游自然语言处理任务中的应用、模型压缩技术，以及这些表征中编码的语言知识分析。综述重点介绍了 BERT、RoBERTa 和 ELECTRA 等最先进模型，并指出了在可解释性、鲁棒性以及可控生成方面面临的关键挑战。

ABSTRACT

Contextual embeddings, such as ELMo and BERT, move beyond global word representations like Word2Vec and achieve ground-breaking performance on a wide range of natural language processing tasks. Contextual embeddings assign each word a representation based on its context, thereby capturing uses of words across varied contexts and encoding knowledge that transfers across languages. In this survey, we review existing contextual embedding models, cross-lingual polyglot pre-training, the application of contextual embeddings in downstream tasks, model compression, and model analyses.

研究动机与目标

• 提供对上下文嵌入模型及其在自然语言处理中演进过程的全面综述。
• 考察上下文嵌入的预训练方法，包括无监督和有监督方法。
• 分析上下文嵌入在不同语言和任务之间迁移知识的方式。
• 评估用于部署高效、轻量级大模型版本的模型压缩技术。
• 通过探测和可视化方法，研究上下文表征中编码的语言知识。

提出的方法

• 根据架构（如 LSTM、Transformer）和预训练目标（如语言建模、掩码语言建模）对上下文嵌入模型进行分类。
• 回顾通过自左向右和双向语言建模进行无监督预训练的方法，包括 ELMo、GPT 和 BERT 等模型。
• 描述使用掩码语言建模（MLM）、下一句预测（NSP）和文本填空等目标的多语言预训练方法。
• 详细说明基于蒸馏的压缩方法，如 DistilBERT 和 TinyBERT，这些方法将知识从大型教师模型迁移至小型学生模型。
• 应用知识蒸馏和量化技术（如 Q-BERT）以减小模型大小并降低推理成本。
• 采用探测分类器和可视化技术（如注意力图、损失曲面）分析表征中的语言知识。

实验结果

研究问题

• RQ1 上下文嵌入如何比静态词嵌入更有效地捕捉多义性和上下文相关的词义？
• RQ2 哪些预训练目标能产生在自然语言处理任务中最具有效性和可迁移性的上下文表征？
• RQ3 预训练模型在多大程度上编码了句法和语义知识？这种编码如何被可靠地衡量？
• RQ4 如何在不显著损失性能的前提下压缩大型上下文嵌入模型，以实现实际部署？
• RQ5 当前上下文嵌入模型在鲁棒性和可控性方面存在哪些关键漏洞和局限性？

主要发现

• 像 BERT 和 RoBERTa 这类上下文嵌入在包括文本分类、问答和摘要在内的广泛自然语言处理任务中实现了最先进性能。
• 探测研究显示，BERT 以分层方式学习语言结构——早期层学习词性标注和句法解析，深层则学习指代消解和语义角色。
• DistilBERT 在 GLUE 上实现了约 97% 的 BERT 性能，同时参数量减少 60%，证明了知识蒸馏的有效性。
• 注意力头的可视化揭示了 BERT 中存在高度冗余，禁用某些注意力头甚至可使性能优于完整模型。
• BERT 的表征在低维子空间中编码了精细的词义，表明其具有强大的表征能力。
• 尽管性能出色，探测实验往往难以区分语言知识是否真正被编码，还是仅源于高维数据本身。