[论文解读] A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models

Usman Naseem, Imran Razzak+2 more|arXiv (Cornell University)|Oct 28, 2020

Topic Modeling被引用 4

一句话总结

本综述全面概述了自然语言处理（NLP）中的词表示模型，涵盖从传统的Bag-of-Words方法到最先进的深度学习模型（如Word2Vec、GloVe、FastText以及基于Transformer的语言模型，例如BERT、ELMo）。它详细说明了这些模型如何将非结构化文本转换为密集向量表示，以捕捉语义和句法信息，从而在情感分析和文本分类等下游NLP任务中实现性能提升。

ABSTRACT

Word representation has always been an important research area in the history of natural language processing (NLP). Understanding such complex text data is imperative, given that it is rich in information and can be used widely across various applications. In this survey, we explore different word representation models and its power of expression, from the classical to modern-day state-of-the-art word representation language models (LMS). We describe a variety of text representation methods, and model designs have blossomed in the context of NLP, including SOTA LMs. These models can transform large volumes of text into effective vector representations capturing the same semantic information. Further, such representations can be utilized by various machine learning (ML) algorithms for a variety of NLP related tasks. In the end, this survey briefly discusses the commonly used ML and DL based classifiers, evaluation metrics and the applications of these word embeddings in different NLP tasks.

研究动机与目标

• 系统性回顾从手工特征工程到基于深度学习的表示学习的词表示模型发展历程。
• 分析经典方法（如Bag-of-Words、TF-IDF）与现代基于神经网络的模型（如Word2Vec、GloVe、FastText）的优势与局限性。
• 研究上下文感知的词嵌入技术，如ELMo、CoVe以及基于Transformer的模型（如BERT），这些模型能够捕捉动态、上下文敏感的表示。
• 使用标准评估指标（准确率、精确率、召回率、F1）评估这些模型在NLP任务中的性能表现。
• 识别表示学习的未来研究方向，包括多模态学习以及对话系统中强化学习的应用。

提出的方法

• 将词表示技术分类为经典方法（如Bag-of-Words、TF-IDF）与基于深度学习的模型（如Word2Vec、GloVe、FastText）。
• 解释Word2Vec如何通过连续词袋（CBOW）和跳字模型（Skip-gram）架构，利用预测模型学习词向量。
• 描述GloVe作为一种全局矩阵分解方法，通过结合局部与全局的词共现统计信息来学习词嵌入。
• 详细说明FastText的子词建模方法，通过学习字符n-gram的向量表示来改善未登录词（OOV）的处理。
• 回顾上下文模型如ELMo，其利用双向LSTM网络生成深层上下文感知的词表示。
• 分析基于Transformer的模型（如BERT、RoBERTa），这些模型通过自注意力机制从大规模通用或领域特定语料的预训练中学习双向上下文信息。

Figure 1. Text Classification Pipeline

实验结果

研究问题

• RQ1 词表示模型在NLP中如何从经典特征工程演进为基于深度学习的表示学习？
• RQ2 静态词嵌入（如Word2Vec、GloVe）与上下文感知嵌入（如ELMo、BERT）之间的关键差异与性能权衡是什么？
• RQ3 与词级别模型相比，子词级别模型（如FastText）如何提升罕见词或未登录词（OOV）的表示能力？
• RQ4 在文本分类任务中，哪些评估指标（如准确率、F1分数）最能有效评估词表示模型的性能？
• RQ5 在表示学习领域，特别是多模态与强化学习增强的NLP系统中，新兴趋势与未来方向是什么？

主要发现

• 基于深度学习的模型（如Word2Vec、GloVe、FastText）在捕捉文本中的语义与句法关系方面，显著优于经典方法（如TF-IDF、Bag-of-Words）。
• 上下文感知模型（如ELMo和基于Transformer的架构，如BERT）通过生成动态、上下文敏感的词表示，实现了最先进性能。
• FastText通过建模子词成分，改善了罕见词或未见词的表示，有效缓解了词级别嵌入中常见的未登录词问题。
• F1分数、精确率和召回率等评估指标被一致用于模型性能基准测试，其中Transformer模型在情感分析与文本分类任务中展现出更优的F1分数。
• 本综述指出，利用大规模无标签数据进行自监督预训练的趋势日益明显，尤其在基于Transformer的模型中，这有助于提升NLP应用中的泛化能力。
• 未来NLP研究预计将聚焦于多模态学习与强化学习，特别是在对话系统及现实应用中，当语言与视觉或感官信号相关联时。

Figure 2. An illustration of one-hot encoding and BoW models