[论文解读] Humor Detection in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System

Ankush Khandelwal, Sahil Swami+2 more|arXiv (Cornell University)|Jun 14, 2018

Humor Studies and Applications被引用 19

一句话总结

本文介绍了一个免费获取的、人工标注的语料库，包含3,543条英语-印地语混合的推文，这些推文被标注为幽默或非幽默，并附有词级别的语言标签。该研究提出了一套基线幽默检测系统，采用n-gram、词袋模型、常见词汇和话题标签作为特征，其中SVM-RBF分类器在该语料库上达到了69.3%的最高准确率，证明了在多语言社交媒体内容中进行幽默检测的可行性。

ABSTRACT

The tremendous amount of user generated data through social networking sites led to the gaining popularity of automatic text classification in the field of computational linguistics over the past decade. Within this domain, one problem that has drawn the attention of many researchers is automatic humor detection in texts. In depth semantic understanding of the text is required to detect humor which makes the problem difficult to automate. With increase in the number of social media users, many multilingual speakers often interchange between languages while posting on social media which is called code-mixing. It introduces some challenges in the field of linguistic analysis of social media content (Barman et al., 2014), like spelling variations and non-grammatical structures in a sentence. Past researches include detecting puns in texts (Kao et al., 2016) and humor in one-lines (Mihalcea et al., 2010) in a single language, but with the tremendous amount of code-mixed data available online, there is a need to develop techniques which detects humor in code-mixed tweets. In this paper, we analyze the task of humor detection in texts and describe a freely available corpus containing English-Hindi code-mixed tweets annotated with humorous(H) or non-humorous(N) tags. We also tagged the words in the tweets with Language tags (English/Hindi/Others). Moreover, we describe the experiments carried out on the corpus and provide a baseline classification system which distinguishes between humorous and non-humorous texts.

研究动机与目标

• 为解决多语言、混合语言社交媒体内容中自动幽默检测的挑战，特别是在英语-印地语语境下的问题。
• 创建一个平衡的、人工标注的混合语言推语文本语料库，包含幽默（H）和非幽默（N）标签。
• 开发并评估一种基于多种语言特征的基线机器学习系统，用于对混合语言文本中的幽默进行分类。
• 探讨在低资源、混合语言自然语言处理场景中，字符级与词级特征的有效性。
• 为未来在跨语言幽默检测和多语言文本分类领域的研究提供基础。

提出的方法

• 使用twitterscraper Python工具包从Twitter收集10,478条推文，筛选出英语-印地语混合内容。
• 人工将3,543条推文标注为幽默（1,755条）和非幽默（1,698条）类别，并添加词级别的语言标签（英语、印地语、其他）。
• 通过将复合词（如‘AadabArzHai’拆分为‘Aadab’、‘Arz’、‘Hai’）和应用驼峰命名规则分解话题标签，对推文进行预处理。
• 提取四种特征类型：字符级三元组（频率>10）、词袋模型（3词窗口）、常见词汇和话题标签特征。
• 应用卡方特征选择，并在10折交叉验证中训练四种分类器：SVM-RBF核、随机森林、极端随机树和朴素贝叶斯。
• 使用网格搜索优化超参数，并报告所有折的平均准确率。

实验结果

研究问题

• RQ1 n-gram和词袋模型特征在检测英语-印地语混合社交媒体文本中的幽默时效果如何？
• RQ2 在低资源、多语言文本中，哪种机器学习分类器在幽默检测任务中表现最佳？
• RQ3 在混合语言幽默检测中，语言无关的特征（如字符级n-gram）是否能优于词汇或语义特征？
• RQ4 话题标签和常见词汇的引入如何影响分类性能？
• RQ5 在混合语言印度社交媒体内容中，幽默检测的基线性能如何？

主要发现

• 使用径向基函数（RBF）核的SVM在完整特征集上达到了最高的69.3%准确率，优于其他分类器。
• n-gram特征在所有分类器中均表现最出色，其次是常见词汇和话题标签。
• 在SVM、随机森林和极端随机树分类器中，词袋模型特征表现最差，尽管在朴素贝叶斯中表现更好。
• 该语料库具有良好的平衡性，包含1,755条幽默推文和1,698条非幽默推文，支持对幽默检测系统的可靠评估。
• 表现最佳的模型（SVM-RBF）在仅使用n-gram特征时也达到了68.5%的准确率，表明在最小化特征工程的情况下仍具有强大性能。
• 本研究为混合语言印度社交媒体中的幽默检测建立了基础基准，未来可扩展至多语言及多文字脚本场景。