[论文解读] Automatic Normalization of Word Variations in Code-Mixed Social Media Text

Rajat Singh, Nurendra Choudhary+1 more|arXiv (Cornell University)|Apr 3, 2018

Natural Language Processing Techniques参考文献 20被引用 10

一句话总结

本文提出了一种无监督方法，通过利用大规模噪声语料中的上下文词表示，实现对多语言混合社交媒体文本中词汇变体的自动归一化。通过分布式词嵌入捕捉拼写和语法变体，该方法在多语言南亚语境下的代码混合数据集上，显著提升了下游自然语言处理任务（如词性标注和情感分析）的性能，表现出一致的性能提升。

ABSTRACT

Social media platforms such as Twitter and Facebook are becoming popular in multilingual societies. This trend induces portmanteau of South Asian languages with English. The blend of multiple languages as code-mixed data has recently become popular in research communities for various NLP tasks. Code-mixed data consist of anomalies such as grammatical errors and spelling variations. In this paper, we leverage the contextual property of words where the different spelling variation of words share similar context in a large noisy social media text. We capture different variations of words belonging to same context in an unsupervised manner using distributed representations of words. Our experiments reveal that preprocessing of the code-mixed dataset based on our approach improves the performance in state-of-the-art part-of-speech tagging (POS-tagging) and sentiment analysis tasks.

研究动机与目标

• 解决多语言社会中常见的多语言混合社交媒体文本中的拼写和语法变体问题。
• 提升在多语言混合数据上下游自然语言处理任务（如词性标注和情感分析）的性能。
• 开发一种无监督方法，利用词汇变体的上下文相似性，而无需并行或标注的归一化数据。
• 利用在大规模噪声社交媒体语料上训练的分布式表示，对多语言混合文本中的词汇变体进行建模。
• 在推特和脸书等平台的真实多语言混合数据集上，评估归一化方法的有效性。

提出的方法

• 该方法采用在大规模多语言混合社交媒体文本上训练的分布式词表示（例如，带有负采样的跳字模型），以捕捉词汇变体之间的上下文相似性。
• 通过聚类在相似上下文中出现但拼写不同或存在语法异常的词汇的嵌入向量，识别词汇变体。
• 该方法为无监督方法，仅依赖于词汇在上下文中的分布特性，无需并行或人工标注的归一化配对数据。
• 通过基于嵌入空间中相近度将某一词汇的所有变体形式映射到一个规范形式，实现归一化。
• 该方法作为下游自然语言处理任务（如词性标注和情感分析）的预处理步骤应用。
• 模型在结合南亚语言与英语的多语言社交媒体数据上进行训练，反映常见的代码混合模式。

实验结果

研究问题

• RQ1 无监督分布表示能否有效识别并归类多语言混合社交媒体文本中同一词汇的拼写和语法变体？
• RQ2 基于上下文词嵌入的归一化方法在提升词性标注和情感分析等下游自然语言处理任务性能方面效果如何？
• RQ3 在无标注数据的情况下，能否可靠地学习到单一规范形式来表示词汇变体？
• RQ4 该方法在不同多语言混合语言对和社交媒体平台之间是否具有泛化能力？
• RQ5 归一化对在嘈杂、真实世界多语言文本中自然语言模型的鲁棒性有何影响？

主要发现

• 所提出的归一化方法在多语言混合数据集上显著提升了词性标注性能，F1得分有明显提升。
• 在归一化后的多语言混合文本上训练的情感分析模型，其准确率优于使用原始未归一化输入的模型。
• 无监督方法在无需标注归一化数据的情况下，于多个评估设置中均实现了稳定的性能提升。
• 该方法能有效将词汇的形态和拼写变体形式基于上下文相似性归入单一规范表示。
• 结果表明，上下文词表示能够有效建模嘈杂、真实世界社交媒体文本中的词汇变体。
• 该方法对多语言社交媒体内容中常见的高度语言不一致性具有鲁棒性。