[论文解读] Experiments with POS Tagging Code-mixed Indian Social Media Text

Prakash B. Pimpale, Raj Nath Patel|arXiv (Cornell University)|Oct 31, 2016

Natural Language Processing Techniques参考文献 5被引用 9

一句话总结

本论文提出了一种混合方法用于代码混杂的印度社交媒体文本的词性标注，结合了斯坦福对数线性词性标注、基于word2vec的特征工程以及WEKA进行机器学习。在无约束评估中，该方法在印地语-英语上达到71.11%的F1值，在孟加拉语-英语上达到75.46%，在泰卢固语-英语上达到48.03%，证明了分布式词表示在低资源代码混杂环境中的有效性。

ABSTRACT

This paper presents Centre for Development of Advanced Computing Mumbai's (CDACM) submission to the NLP Tools Contest on Part-Of-Speech (POS) Tagging For Code-mixed Indian Social Media Text (POSCMISMT) 2015 (collocated with ICON 2015). We submitted results for Hindi (hi), Bengali (bn), and Telugu (te) languages mixed with English (en). In this paper, we have described our approaches to the POS tagging techniques, we exploited for this task. Machine learning has been used to POS tag the mixed language text. For POS tagging, distributed representations of words in vector space (word2vec) for feature extraction and Log-linear models have been tried. We report our work on all three languages hi, bn, and te mixed with en.

研究动机与目标

• 开发一个针对代码混杂的印度社交媒体文本的稳健词性标注系统，其中多种印度语言与英语交织。
• 通过利用分布式词表示（word2vec）进行特征提取，解决代码混杂的印度语言标注训练数据有限的挑战。
• 评估多种机器学习模型（如J48、随机森林、朴素贝叶斯和多层感知机）在低资源、多语言社交媒体文本中的词性标注性能。
• 比较约束（斯坦福词性标注器）与无约束（WEKA结合word2vec）训练方法在未见代码混杂数据上的泛化能力。

提出的方法

• 在约束设置下训练斯坦福对数线性词性标注器，特征包括词上下文（±2）、前缀/后缀（6个字符）以及Unicode字形。
• 使用word2vec从训练和测试数据的合并语料中生成词的分布式向量表示，用于特征工程。
• 使用WEKA训练多种机器学习模型，整合语言学特征，如词的语言、相邻词的语言、相邻词的词性标签以及词在句子中的位置。
• 对于未知词，系统使用word2vec模型中的最近邻来推断语义相似词中最常见的词性标签。
• 应用回退策略：若未找到最近邻，则使用训练集中最常见的词性标签。
• 在20%保留的测试集上评估模型，并基于最高的F1值选择J48决策树作为最终提交模型。

实验结果

研究问题

• RQ1 当仅使用所提供的约束数据集对斯坦福对数线性词性标注器进行训练时，其在代码混杂的印地语-英语、孟加拉语-英语和泰卢固语-英语文本上的有效性如何？
• RQ2 基于word2vec的分布式表示在低资源代码混杂的印度社交媒体文本中，能在多大程度上提升词性标注性能？
• RQ3 在训练数据有限的代码混杂印度文本中，J48、随机森林、朴素贝叶斯或多层感知机中哪种机器学习模型在词性标注上表现最佳？
• RQ4 使用word2vec嵌入中的最近邻查找如何提升代码混杂文本中未登录词的词性标注性能？
• RQ5 在代码混杂的印度语言词性标注中，约束与无约束训练设置之间的性能差距是多少？

主要发现

• 使用斯坦福对数线性词性标注器的约束提交在印地语-英语上达到71.11%的F1值，在孟加拉语-英语上达到75.46%，在泰卢固语-英语上达到71.04%。
• 在无约束模型中，J48决策树在实验评估中取得了最高的F1值，分别为44.60%（印地语-英语）和50.30%（泰卢固语-英语）。
• 使用word2vec嵌入能够通过从训练数据中检索语义相似词的词性标签，有效处理未登录词。
• 与J48相比，随机森林和朴素贝叶斯模型表现较差，其在印地语-英语上的F1值分别为43.00%和40.40%。
• 无约束系统在泰卢固语-英语上达到48.03%的F1值，表明尽管word2vec提升了泛化能力，但性能仍低于约束方法。
• 本研究证明，分布式词表示可增强低资源代码混杂环境中的词性标注性能，尤其在结合稳健的特征工程时效果更显著。