[论文解读] An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams.

Abhay Sharma, Ananya Nandan+1 more|arXiv (Cornell University)|Dec 26, 2018

Authorship Attribution and Profiling参考文献 19被引用 7

一句话总结

本研究探讨了在短篇印地语-英语混用文本（Hinglish）中，使用字符和词n-gram的监督学习方法在作者归属任务中的应用。研究发现，采用字符3-gram与词一元语法的支持向量机（SVM）可达到最高95.079%的准确率，优于其他模型与特征类型，证明了n-gram方法在社交媒体语境下低资源、非标准混用语言中的可行性。

ABSTRACT

The writing style of a person can be affirmed as a unique identity indicator; the words used, and the structuring of the sentences are clear measures which can identify the author of a specific work. Stylometry and its subset - Authorship Attribution, have a long history beginning from the 19th century, and we can still find their use in modern times. The emergence of the Internet has shifted the application of attribution studies towards non-standard texts that are comparatively shorter to and different from the long texts on which most research has been done. The aim of this paper focuses on the study of short online texts, retrieved from messaging application called WhatsApp and studying the distinctive features of a macaronic language (Hinglish), using supervised learning methods and then comparing the models. Various features such as word n-gram and character n-gram are compared via methods viz., Naive Bayes Classifier, Support Vector Machine, Conditional Tree, and Random Forest, to find the best discriminator for such corpora. Our results showed that SVM attained a test accuracy of up to 95.079% while similarly, Naive Bayes attained an accuracy of up to 94.455% for the dataset. Conditional Tree & Random Forest failed to perform as well as expected. We also found that word unigram and character 3-grams features were more likely to distinguish authors accurately than other features.

研究动机与目标

• 评估在WhatsApp中获取的短篇非正式Hinglish文本中，监督学习方法在作者归属任务中的表现。
• 评估词n-gram与字符n-gram作为语言特征，在区分混用语言作者方面的有效性。
• 比较朴素贝叶斯、支持向量机（SVM）、条件树与随机森林分类器在Hinglish语料库上的性能表现。
• 识别在非标准、混合语言文本中，作者归属任务的最优特征类型（n-gram阶数）与特征加权方案（二值化、TF、TF-IDF）。
• 探讨Hinglish中特有的拼写与语法习惯是否可作为可靠的作者标识特征。

提出的方法

• 从WhatsApp中收集了76,000个词的短篇Hinglish文本，涵盖四位作者的个人与群组消息。
• 提取词n-gram（一元到三元）与字符n-gram（最高至三元）作为语言特征。
• 应用三种特征加权方案：二值化权重、词频（TF）与TF-IDF。
• 训练并评估四种监督分类器：朴素贝叶斯、支持向量机（SVM）、条件树与随机森林。
• 使用10折交叉验证，以确保所有模型与特征组合的性能估计具有鲁棒性。
• 采用标准指标评估模型：准确率、真正率（TPR）与精确率。

实验结果

研究问题

• RQ1 在短篇Hinglish文本中，哪种监督学习算法在作者归属任务中表现最佳？
• RQ2 在混用语言的作者归属任务中，哪种n-gram类型——词n-gram或字符n-gram——能带来最高的分类准确率？
• RQ3 不同的特征加权方案（二值化、TF、TF-IDF）如何影响模型在Hinglish语料库上的性能表现？
• RQ4 在短篇稀疏的Hinglish文本中，高阶n-gram（如二元语法、三元语法）是否会导致性能显著下降？
• RQ5 Hinglish中特有的拼写与语法模式是否可作为有效的区分性特征用于作者归属？

主要发现

• SVM使用字符3-gram时达到最高测试准确率95.079%，优于所有其他模型。
• 朴素贝叶斯使用词一元语法时达到最大准确率94.455%，在所有模型中排名第二。
• 条件树与随机森林表现欠佳，表明在给定特征集下，该任务对这两种模型的适用性有限。
• 词一元语法与字符3-gram是最有效的特征，高阶n-gram的性能显著下降。
• 二值化加权方案整体表现最佳，其次为词频；TF-IDF在决策树与随机森林上的表现优于SVM与朴素贝叶斯。
• 本研究证实，形态丰富性、非标准拼写以及Hinglish中用户特有的语法特征，若通过n-gram特征捕捉，可作为可靠的作者标识特征。