[论文解读] Including Dialects and Language Varieties in Author Profiling

Alina Maria Ciobanu, Marcos Zampieri+2 more|arXiv (Cornell University)|Jul 3, 2017

Authorship Attribution and Profiling参考文献 17被引用 5

一句话总结

本论文提出了一种基于字符和词n-gram的SVM集成模型，用于识别社交媒体文本中的性别和语言变体，其在PAN 2017数据集上的性别分类平均准确率达到75%，葡萄牙语方言识别准确率达到97.9%，是首批将方言纳入作者画像任务的共享任务之一。

ABSTRACT

This paper presents a computational approach to author profiling taking gender and language variety into account. We apply an ensemble system with the output of multiple linear SVM classifiers trained on character and word $n$-grams. We evaluate the system using the dataset provided by the organizers of the 2017 PAN lab on author profiling. Our approach achieved 75% average accuracy on gender identification on tweets written in four languages and 97% accuracy on language variety identification for Portuguese.

研究动机与目标

• 将作者画像任务扩展至包含语言变体和方言，特别是在多语言社交媒体文本中。
• 解决在短篇、非正式的用户生成内容中区分相似语言、语言变体和方言的挑战。
• 将先前共享任务（如DSL、ADI）中成功的方法适配至PAN 2017作者画像基准。
• 在单一统一框架中评估性别与语言变体识别的性能。
• 研究数据特征（如短文本、非标准语言）在低资源环境下对作者画像任务模型性能的影响。

提出的方法

• 对性别和语言变体分类任务，均采用基于字符和词n-gram（n ≥ 4）的线性SVM分类器集成模型。
• 采用两阶段方法：首先为每种语言训练语言变体分类器，然后将其应用于预测方言或变体。
• 通过选择前1,000个最频繁的n-gram特征，并在先前的共享任务中将其与词性标注（POS）特征结合，实施特征工程。
• 采用元分类器方法以提升性能，灵感来源于德语方言识别中表现优异的系统。
• 在PAN 2017训练集上使用交叉验证训练模型，并通过TIRA虚拟机提供的保留测试集进行评估。
• 将结果与两个基线模型进行比较：BOW-baseline（词袋模型）和STAT-baseline（多数类基线）。

实验结果

研究问题

• RQ1 传统的n-gram与SVM方法是否能有效分类短篇、非正式的社交媒体文本中的性别与语言变体？
• RQ2 性能在不同语言和方言之间如何变化，特别是在低资源环境下？
• RQ3 数据特征（如文本简短、非标准语言）对作者画像任务中模型准确率的影响是什么？
• RQ4 集成方法与n-gram特征相较于简单基线，在区分相似语言变体方面表现如何？
• RQ5 尽管在类似任务中表现良好，为何预期结果与实际结果之间存在性能差距？可能的原因有哪些？

主要发现

• 在四种语言的性别识别任务中，系统平均准确率达到75.04%，在22个参赛作品中排名第12位。
• 在语言变体识别任务中，系统平均准确率达到85.24%，在22个参赛作品中排名第11位。
• 性能最高的是葡萄牙语方言识别，准确率达到97.88%，显著优于BOW-baseline（97.12%）。
• 性别分类性能最低的是阿拉伯语（71.31%），最高的是葡萄牙语（77.13%），英语和西班牙语居中。
• 在所有语言和子任务中，该模型均显著优于BOW-baseline和STAT-baseline。
• 尽管在交叉验证中表现良好，最终测试集结果仍低于预期，可能原因包括数据稀疏性、模型超参数设置或竞争对手采用深度学习方法。