[论文解读] Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks from The New Yorker Caption Contest

Jack Hessel, Ana Marasović+6 more|arXiv (Cornell University)|Sep 13, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文通过《纽约客》漫画标题竞赛引入了一个多模态幽默理解基准，提出三项任务——将标题与漫画匹配、对标题质量进行排序、解释为何某个标题有趣。尽管使用了最先进的多模态和语言模型，模型表现与人类相比仍显著落后：在匹配任务中，最佳模型仅达到62%的准确率（人类为94%），且超过66%的情况下人类撰写的解释优于GPT-4，凸显了人工智能在幽默理解方面存在关键差距。

ABSTRACT

Large neural networks can now generate jokes, but do they really "understand" humor? We challenge AI models with three tasks derived from the New Yorker Cartoon Caption Contest: matching a joke to a cartoon, identifying a winning caption, and explaining why a winning caption is funny. These tasks encapsulate progressively more sophisticated aspects of "understanding" a cartoon; key elements are the complex, often surprising relationships between images and captions and the frequent inclusion of indirect and playful allusions to human experience and culture. We investigate both multimodal and language-only models: the former are challenged with the cartoon images directly, while the latter are given multifaceted descriptions of the visual scene to simulate human-level visual understanding. We find that both types of models struggle at all three tasks. For example, our best multimodal models fall 30 accuracy points behind human performance on the matching task, and, even when provided ground-truth visual scene descriptors, human-authored explanations are preferred head-to-head over the best machine-authored ones (few-shot GPT-4) in more than 2/3 of cases. We release models, code, leaderboard, and corpus, which includes newly-gathered annotations describing the image's locations/entities, what's unusual in the scene, and an explanation of the joke.

研究动机与目标

• 通过在真实世界、富含文化背景的漫画标题上测试，评估大型AI模型是否真正‘理解’幽默。
• 开发一个基于《纽约客》漫画标题竞赛的具有挑战性、多维度的基准，反映人类幽默的复杂性。
• 探究多模态模型与仅语言模型在识别、排序和解释幽默图文对方面的局限性。
• 发布一个丰富标注的数据集，包含视觉描述、异常场景元素及笑话解释，以支持未来研究。
• 探索AI在创意协作中的潜力，例如头脑风暴和生成幽默标题。

提出的方法

• 提出三个逐步复杂的任务：(1) 从干扰项中将决赛标题与对应漫画匹配；(2) 将同一幅漫画的决赛标题排在非决赛标题之前；(3) 生成自由文本解释为何获胜标题有趣。
• 采用两种评估设置：'从像素出发'（模型处理原始漫画图像）和'从描述出发'（模型接收人工标注的视觉描述，模拟人类视觉水平）。
• 收集了一个新数据集，包含场景描述、异常元素及笑话解释，共对超过1,000幅漫画进行了标注。
• 在基准上评估最先进的模型——用于多模态任务的微调CLIP，以及用于解释生成的少样本GPT-4。
• 设计了一个精心策划的提示，支持创意协作，将数据集重新格式化以支持AI辅助头脑风暴与标题生成。
• 通过成对偏好比较的人工评估，对比模型生成的解释与人类撰写的解释。

实验结果

研究问题

• RQ1 多模态模型能否准确地将获胜标题与对应的漫画图像匹配？
• RQ2 当两个标题均与图像匹配时，模型能否区分同一幅漫画的高质量与低质量标题？
• RQ3 语言模型能否生成比人类撰写的解释更受青睐的幽默解释？
• RQ4 获得人类水平的视觉描述在多大程度上影响模型在幽默理解任务中的表现？
• RQ5 AI模型在多大程度上可被用于辅助生成幽默漫画标题的创意过程？

主要发现

• 在'从像素出发'设置下，最佳多模态模型（微调后的CLIP ViT-L/14）在标题匹配任务中准确率为62%，而人类为94%。
• 即使提供真实视觉描述，最佳语言模型（5-shot GPT-4）生成的解释在少于三分之一的案例中优于人类撰写的解释，表明解释质量存在显著差距。
• 在超过66%的成对比较中，人类解释优于机器生成的解释，表明当前模型尚无法复现人类水平的幽默理解能力。
• 性能差距在所有三项任务中均持续存在，表明AI模型难以把握《纽约客》式幽默所依赖的微妙、间接且文化嵌入的关系。
• 尽管自本研究提交以来语言建模能力有所提升，但性能差距依然显著，表明当前模型尚未真正理解幽默的深层机制。
• 发布的基准包含标注、模型、代码及在capcon.dev的排行榜，为推进AI幽默理解提供了宝贵资源。