[论文解读] ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor

Issa Annamoradnejad, Gohar Zoghi|arXiv (Cornell University)|Apr 27, 2020

Humor Studies and Applications参考文献 34被引用 6

一句话总结

本文提出 ColBERT，一种新颖的神经网络架构，通过并行处理 BERT 句子嵌入来检测和评分基于不一致理论的短文本幽默。通过分别编码每个句子并结合特征以评估语义一致性，该模型在新创建的英文数据集上取得 0.982 的 F1 分数，在西班牙语推文竞赛中取得 0.869 的 F1 分数，优于最先进模型，同时强调句子级语义和语言结构。

ABSTRACT

Automation of humor detection and rating has interesting use cases in modern technologies, such as humanoid robots, chatbots, and virtual assistants. In this paper, we propose a novel approach for detecting and rating humor in short texts based on a popular linguistic theory of humor. The proposed technical method initiates by separating sentences of the given text and utilizing the BERT model to generate embeddings for each one. The embeddings are fed to separate lines of hidden layers in a neural network (one line for each sentence) to extract latent features. At last, the parallel lines are concatenated to determine the congruity and other relationships between the sentences and predict the target value. We accompany the paper with a novel dataset for humor detection consisting of 200,000 formal short texts. In addition to evaluating our work on the novel dataset, we participated in a live machine learning competition focused on rating humor in Spanish tweets. The proposed model obtained F1 scores of 0.982 and 0.869 in the humor detection experiments which outperform general and state-of-the-art models. The evaluation performed on two contrasting settings confirm the strength and robustness of the model and suggests two important factors in achieving high accuracy in the current task: 1) usage of sentence embeddings and 2) utilizing the linguistic structure of humor in designing the proposed model.

研究动机与目标

• 开发一种基于语言学基础方法的自动化系统，用于检测和评分短文本中的幽默。
• 通过创建一个统计平衡、大规模的 20 万条正式短文本数据集，解决现有幽默数据集的局限性。
• 评估模型在多种文本类型（包括正式英语和非正式西班牙语推文）中的鲁棒性。
• 研究句子级嵌入和幽默结构建模对检测准确率的影响。
• 证明并行神经网络架构在捕捉幽默中句子间不一致性的有效性。

提出的方法

• 该模型将输入文本拆分为单个句子，并使用 BERT 为每个句子生成上下文相关的句子嵌入。
• 每个句子嵌入通过神经网络中独立的、并行的隐藏层流处理，以提取潜在特征。
• 所有句子特异的流输出被拼接，并输入最终层以评估一致性并预测幽默可能性。
• 该架构端到端训练，用于分类文本是否具有幽默性，损失函数通过二元检测的交叉熵和基于回归的评分的均方根误差进行优化。
• 对于西班牙语文本，模型使用 BETO-uncased BERT 而非英文 BERT，以确保有意义的句子嵌入。
• 通过严格的文本清洗流程，去除异常值并平衡幽默与非幽默文本之间的统计特性，以减少偏差。

实验结果

研究问题

• RQ1 一种并行处理句子并利用 BERT 嵌入的神经网络架构能否在幽默检测中实现高准确率？
• RQ2 基于不一致理论（聚焦于句子间关系）建模幽默，是否能优于整体文本编码方法？
• RQ3 当应用于非正式、低资源且非英文文本（如西班牙语推文）时，ColBERT 模型的鲁棒性如何？
• RQ4 句子级嵌入和幽默结构建模在多大程度上促进了检测准确率的提升？
• RQ5 一个大规模、平衡且预处理的正式短文本数据集能否作为未来幽默检测研究的可靠基准？

主要发现

• ColBERT 模型在新创建的 ColBERT 数据集上，对正式英文短文本的二元幽默检测任务中取得了 0.982 的 F1 分数，优于强基线模型。
• 在西班牙语非正式推文的实时机器学习竞赛中，该模型在幽默评分任务中获得第 2 名（RMSE 为 0.6246），在二元检测任务中获得第 3 名（F1 分数为 0.8696）。
• 该模型在两种不同设置（正式英语和非正式西班牙语）下的表现，展示了其强大的鲁棒性和泛化能力。
• 消融实验证实，句子级嵌入和通过并行处理建模语言结构对实现高准确率至关重要。
• 所提出的 ColBERT 数据集包含 20 万条短文本（10 万条幽默，10 万条非幽默），在统计上保持平衡，且避免了先前数据集中常见的数据偏差。
• 结果验证了假设：通过并行处理 BERT 嵌入来建模句子间不一致，可提升幽默检测的效果。