[论文解读] Humor in Word Embeddings: Cockamamie Gobbledegook for Nincompoops

Limor Gultchin, Geneviève Patterson+3 more|arXiv (Cornell University)|Feb 8, 2019

Humor Studies and Applications参考文献 26被引用 5

一句话总结

本文表明，通过识别向量空间中与幽默评分相关的线性方向，词嵌入（WEs）能够捕捉单字幽默的多个维度，包括不协调性、优越感和释放理论。研究显示，个体幽默感可通过少数评分词汇的向量建模，从而对未见过的词汇实现准确的幽默偏好预测，在‘了解你的受众’测试中准确率最高达78.1%。

ABSTRACT

While humor is often thought to be beyond the reach of Natural Language Processing, we show that several aspects of single-word humor correlate with simple linear directions in Word Embeddings. In particular: (a) the word vectors capture multiple aspects discussed in humor theories from various disciplines; (b) each individual's sense of humor can be represented by a vector, which can predict differences in people's senses of humor on new, unrated, words; and (c) upon clustering humor ratings of multiple demographic groups, different humor preferences emerge across the different groups. Humor ratings are taken from the work of Engelthaler and Hills (2017) as well as from an original crowdsourcing study of 120,000 words. Our dataset further includes annotations for the theoretically-motivated humor features we identify.

研究动机与目标

• 探究词嵌入是否能够建模个体在幽默感知上的差异。
• 识别词嵌入中反映的幽默理论（如不协调、优越感、释放）的类型。
• 开发一种仅使用少量评分示例即可预测个体对未见词汇幽默偏好的方法。
• 创建并发布一个包含120,000个词汇、带有幽默评分和基于理论注释的大型公开数据集。
• 评估词嵌入在协同过滤之外的泛化能力，以预测幽默偏好。

提出的方法

• 作者通过将词向量与Engelthaler & Hills（2017）的平均幽默评分以及一项针对120,000个词汇的新众包研究结果进行相关性分析，识别出预训练词嵌入中的‘幽默向量’。
• 他们开展众包研究，通过六选二比较方式对216个高度幽默的词汇进行评分，从而实现个体幽默感的建模。
• 每位参与者的幽默感被表示为他们评分的幽默词汇的向量平均值，形成个性化的‘幽默感嵌入’。
• 引入‘了解你的受众’测试以评估泛化能力：仅基于其训练词向量，预测某人会认为哪两个未评分词汇更有趣。
• 该方法使用余弦相似度通过向量距离进行判断：当 (r₁ - r₂) · (v₁ - v₂) > 0 时预测为匹配，其中 r 和 v 分别代表训练词和测试词的向量平均值。
• 作者对1,500个词汇进行了注释，标注了六种源自幽默理论的幽默特征，支持对词嵌入所捕捉特征的分析。

实验结果

研究问题

• RQ1 词嵌入能否捕捉幽默的多个理论维度，如不协调性、优越感和释放理论？
• RQ2 仅使用少量评分词汇，能否在词嵌入空间中有效将个体的幽默感建模为一个向量？
• RQ3 这些个性化幽默嵌入在多大程度上能泛化到预测完全未评分词汇的偏好？
• RQ4 年龄和性别等人口统计因素是否与词嵌入所捕捉的幽默偏好模式存在显著关联？
• RQ5 词嵌入能否在协同过滤之外实现泛化，以在冷启动场景下预测幽默？

主要发现

• 词嵌入中的幽默向量与幽默评分的相关性达到 r > 0.7，表明其能强有力地捕捉幽默倾向。
• 仅使用5至35个评分词汇即可准确建模个体幽默感，在‘了解你的受众’测试的困难版本中准确率达65.0%。
• ‘了解你的受众’测试的简易版本准确率达78.1%，表明其对未见词汇具有强大的泛化能力。
• 被评分为最幽默的词汇表现出多种幽默特征，如禁忌语言（释放理论）和侮辱性语言（优越感理论），表明其具有多模态幽默特性。
• 对幽默感嵌入的聚类分析揭示了年龄和性别之间存在显著差异，反映出不同群体间幽默偏好的区别。
• 本研究发布了包含120,000个词汇、带有幽默评分和六种基于理论的注释的公开数据集，支持未来研究。