[论文解读] Dutch Humor Detection by Generating Negative Examples

Thomas Winters, Pieter Delobelle|arXiv (Cornell University)|Oct 26, 2020

Humor Studies and Applications参考文献 28被引用 4

一句话总结

本文提出了一种新颖的荷兰语幽默检测方法，通过使用文本生成算法生成逼真的非笑话示例，构建更具挑战性的基准。与以往使用域外非笑话的研究不同，作者在这些生成的负样本上进行模型的训练与评估，包括当前最先进的RobBERT模型，结果显示RobBERT在幽默检测任务上显著优于传统模型，准确率达到98.8%，证明了上下文嵌入的变换器模型在低资源设置下幽默识别的有效性。

ABSTRACT

Detecting if a text is humorous is a hard task to do computationally, as it usually requires linguistic and common sense insights. In machine learning, humor detection is usually modeled as a binary classification task, trained to predict if the given text is a joke or another type of text. Rather than using completely different non-humorous texts, we propose using text generation algorithms for imitating the original joke dataset to increase the difficulty for the learning algorithm. We constructed several different joke and non-joke datasets to test the humor detection abilities of different language technologies. In particular, we compare the humor detection capabilities of classic neural network approaches with the state-of-the-art Dutch language model RobBERT. In doing so, we create and compare the first Dutch humor detection systems. We found that while other language models perform well when the non-jokes came from completely different domains, RobBERT was the only one that was able to distinguish jokes from generated negative examples. This performance illustrates the usefulness of using text generation to create negative datasets for humor recognition, and also shows that transformer models are a large step forward in humor detection.

研究动机与目标

• 为解决荷兰语中缺乏稳健、上下文感知的幽默检测系统的问题，通过创建更具挑战性的基准来应对。
• 探究依赖特定领域词汇的传统模型是否会被结构和词汇上与笑话相似的非笑话所误导。
• 评估现代基于变换器的模型（尤其是RobBERT）在新型、更具挑战性的幽默检测基准上的表现。
• 证明文本生成在低资源自然语言处理任务（如幽默检测）中生成逼真负样本的实用性。

提出的方法

• 作者使用动态模板（DT）算法生成非笑话示例，该算法模仿荷兰语笑话语料库的词汇和句法模式。
• 他们构建了三个不同的数据集：一个包含生成的非笑话，一个包含新闻文章，一个包含谚语，所有数据均与真实笑话配对。
• 他们在这些数据集上对多种模型（朴素贝叶斯、LSTM、CNN和RobBERT）进行微调，用于二元幽默/非幽默分类任务。
• 在成对分类任务中，将一个笑话与其对应的生成非笑话进行比较，使用模型判断哪一个更有趣。
• RobBERT通过添加序列分类头进行微调，将两个文本作为单一输入序列处理，中间用[SEP]标记分隔。
• 评估使用准确率和F1-score，并在保留的测试集上计算95%置信区间。

实验结果

研究问题

• RQ1 在域外非笑话（如新闻、谚语）上进行训练的幽默检测模型，是否会被在结构和词汇上与笑话相似的非笑话所误导？
• RQ2 在具有挑战性的、域内负样本数据集上，现代上下文嵌入语言模型（如RobBERT）在多大程度上优于传统神经网络模型（LSTM、CNN）？
• RQ3 通过文本生成算法生成负样本，是否能创建更有效的幽默检测系统评估基准？
• RQ4 当模型在幽默与生成非笑话之间进行分类时，其性能相较于与域外非笑话分类时有何变化？

主要发现

• RobBERT在生成非笑话数据集上取得了98.8%的准确率和98.8%的F1-score，显著优于所有其他模型。
• LSTM和CNN模型在新闻和谚语数据集上的准确率超过94%，但在生成非笑话集上下降至约47%，表明其依赖于领域线索。
• 朴素贝叶斯模型在所有数据集上的表现均较差，准确率低于60%，凸显了词袋方法的局限性。
• 在成对分类任务中，RobBERT保持了较强的性能（82.5%准确率），尽管略低于单分类设置，可能由于输入长度限制所致。
• 与传统域外非笑话相比，生成的非笑话数据集更具挑战性，尤其对依赖词汇或领域特定特征的模型而言。
• RobBERT在生成非笑话集上的表现（89.2%准确率）显著优于其他模型，表明其上下文理解能力有助于实现更优的幽默检测。