[论文解读] A Survey On Neural Word Embeddings

Erhan Sezerer, Selma Tekır|arXiv (Cornell University)|Oct 5, 2021

Topic Modeling参考文献 139被引用 5

一句话总结

本综述全面回顾了神经词嵌入的发展，追溯了其从早期静态嵌入（如 Word2Vec 和 GloVe）到先进上下文感知模型（如 BERT 和 RoBERTa）的演变历程。它详细阐述了神经语言建模如何实现分布式表示，以捕捉句法和语义规律性，显著提升了各类自然语言处理任务的性能，当前最先进的模型在 GLUE 和 SQuAD 等基准测试中已达到人类水平表现。

ABSTRACT

Understanding human language has been a sub-challenge on the way of intelligent machines. The study of meaning in natural language processing (NLP) relies on the distributional hypothesis where language elements get meaning from the words that co-occur within contexts. The revolutionary idea of distributed representation for a concept is close to the working of a human mind in that the meaning of a word is spread across several neurons, and a loss of activation will only slightly affect the memory retrieval process. Neural word embeddings transformed the whole field of NLP by introducing substantial improvements in all NLP tasks. In this survey, we provide a comprehensive literature review on neural word embeddings. We give theoretical foundations and describe existing work by an interplay between word embeddings and language modelling. We provide broad coverage on neural word embeddings, including early word embeddings, embeddings targeting specific semantic relations, sense embeddings, morpheme embeddings, and finally, contextual representations. Finally, we describe benchmark datasets in word embeddings' performance evaluation and downstream tasks along with the performance results of/due to word embeddings.

研究动机与目标

• 提供神经词嵌入及其理论基础的系统性文献综述。
• 分析从静态表示到上下文表示的词嵌入演变过程，突出关键进展。
• 评估在标准数据集和下游自然语言处理任务（包括 GLUE 和 SQuAD）上的性能表现。
• 考察专用扩展模型，如感知语义的、形态学的以及知识增强的嵌入。
• 将 BERT 和 RoBERTa 等上下文模型定位为当前语义表示学习的主流标准。

提出的方法

• 调研分布假设与神经网络中分布式表示的奠基性研究。
• 将词嵌入模型分类为：早期静态嵌入（如 Skip-Gram、GloVe）、特定关系嵌入、语义嵌入、词素嵌入以及上下文表示。
• 分析通过反向传播学习词表示的神经语言模型架构，其目标是预测下一个词的上下文。
• 在标准化基准测试（包括 GLUE、SQuAD 和 SQuAD 2.0）上评估模型，使用 F1、准确率和皮尔逊相关系数（ρ）等指标。
• 在 TOEFL、ESL-50 和 MRPC 等数据集上，采用一致的评估协议比较不同模型的性能。
• 突出从固定、上下文无关嵌入向通过 Transformer 和掩码语言建模实现的动态、上下文感知表示的转变。

实验结果

研究问题

• RQ1 神经词嵌入在捕捉语义和句法规律性方面，相较于传统基于计数和词袋表示方法有何改进？
• RQ2 实现从静态嵌入到上下文嵌入转变的关键架构与训练创新是什么？
• RQ3 不同类型的嵌入（如语义感知、形态学、知识增强）在语义关系任务上的性能提升程度如何？
• RQ4 预训练的上下文模型（如 BERT 和 RoBERTa）如何在多样化的自然语言处理基准上实现最先进性能？
• RQ5 多模态与经验性信息在未来语义表示学习中将发挥何种作用？

主要发现

• 在 SQuAD 2.0 上，BERT 和 RoBERTa 分别取得了 89.1% 和 89.8% 的 F1 分数，接近人类水平表现。
• 在 GLUE 基准测试中，RoBERTa（集成模型）在 MNLI 上达到 90.8/90.2，在 RACE 上取得 92.2 的 F1 分数，优于早期模型。
• XLNet（集成模型）在 MNLI 上达到 98.6% 的准确率，在 WNLI 上达到 91.8%，展现出强大的跨任务泛化能力。
• BERT 在 SST-2 上取得 94.9% 的 F1 分数，在 MRPC 上取得 89.3%，显著优于 CBOW 和 BiLSTM 等早期模型。
• 从 Skip-Gram（在 TOEFL-80 上为 83.7%）到 BERT（在 SST-2 上为 94.9%）的性能差距凸显了上下文感知表示的重要性。
• ALBERT 和 ERNIE 2.0 在 MNLI 上分别取得 95.3% 和 94.6% 的准确率，表明参数高效与预训练策略的有效性。