[论文解读] A Low Dimensionality Representation for Language Variety Identification

Francisco Rangel, Marc Franco-Salvador+1 more|arXiv (Cornell University)|May 30, 2017

Authorship Attribution and ProfilingComputer Science参考文献 8被引用 17

一句话总结

本文提出了一种用于西班牙语语言变体识别的低维表示方法（LDR），通过使用均值、标准差和基于概率的词项权重等统计特征，将维度降低至每种语言变体仅6个特征。该方法在最先进基线方法上实现了35%的准确率提升，并在大规模数据环境下的社交媒体应用中，表现出与Skip-gram和SenVec等分布式模型相当的竞争力，且具有出色的鲁棒性。

ABSTRACT

Language variety identification aims at labelling texts in a native language (e.g. Spanish, Portuguese, English) with its specific variation (e.g. Argentina, Chile, Mexico, Peru, Spain; Brazil, Portugal; UK, US). In this work we propose a low dimensionality representation (LDR) to address this task with five different varieties of Spanish: Argentina, Chile, Mexico, Peru and Spain. We compare our LDR method with common state-of-the-art representations and show an increase in accuracy of ~35%. Furthermore, we compare LDR with two reference distributed representation models. Experimental results show competitive performance while dramatically reducing the dimensionality --and increasing the big data suitability-- to only 6 features per variety. Additionally, we analyse the behaviour of the employed machine learning algorithms and the most discriminating features. Finally, we employ an alternative dataset to test the robustness of our low dimensionality representation with another set of similar languages.

研究动机与目标

• 为在社交媒体文本中高精度识别语言变体（如墨西哥西班牙语、西班牙西班牙语、阿根廷西班牙语等）提供解决方案。
• 降低文本表示的维度，以提升在大数据环境中的可扩展性，尤其适用于社交媒体应用。
• 开发一个能够捕捉语言变体之间词汇和统计差异的特征集，而无需依赖n-gram或深度学习表示方法。
• 通过严格的作者级别分离，避免训练集与测试集之间的数据泄露，确保模型的泛化能力。
• 公开发布数据集，以支持语言变体识别研究的可复现性与进一步探索。

提出的方法

• LDR方法计算每种语言变体的词频统计特征，包括均值、标准差、最小值、最大值、概率和比例性。
• 每篇文档均以每种语言变体对应的6维向量表示，该向量基于该变体在训练数据中的词频分布生成。
• 该方法使用tf-idf加权，突出对每种变体具有判别性的词项，从而减少常见词汇带来的噪声。
• 基于信息增益选择特征，优先保留最具判别性的特征用于分类。
• 使用机器学习分类器（如SVM或类似模型）在低维特征向量上进行训练，以预测正确的语言变体。
• 通过确保作者不同时出现在训练集和测试集中，避免过拟合，从而保持评估的完整性。

实验结果

研究问题

• RQ1 低维特征表示能否在语言变体识别任务中超越传统的n-gram方法和最先进方法？
• RQ2 将特征维度减少至每种语言变体仅6个特征，对分类准确率和大数据环境下的可扩展性产生多大影响？
• RQ3 不同的统计特征（均值、标准差、最小/最大值、概率）在区分密切相关的语言变体方面分别起到何种作用？
• RQ4 LDR方法是否能良好泛化至西班牙语以外的其他语言对或语言变体，尤其是在类似的语言区分任务中？
• RQ5 在多种语言变体上，LDR与Skip-gram和SenVec等分布式表示方法相比，性能如何？

主要发现

• LDR方法在西班牙语语言变体识别任务中达到了71.1%的准确率，相比基线方法提升了约35%。
• 该方法将特征维度从数千个降低至每种语言变体仅6个，显著提升了在大数据环境中的适用性。
• 仅使用基于标准差的特征即达到69.2%的准确率，与均值特征结合后准确率提升至70.8%，优于基于最小/最大值的特征。
• LDR在DSLCC语料库中多种语言对上表现出稳健性能，准确率范围为78.0%（波斯尼亚语）至99.9%（印度尼西亚语、捷克语等），与Skip-gram和SenVec相当。
• 在DSLCC数据集中葡萄牙语和西班牙语的变体中，LDR分别达到84.7%（西班牙）、88.0%（阿根廷）、87.4%（葡萄牙）和90.0%（巴西），展现出强大的跨语言泛化能力。
• LDR方法成功应用于作者画像中的年龄与性别识别任务，在PAN 2018竞赛中取得了与顶尖团队相当的性能。