[论文解读] Memes-as-Replies: Can Models Select Humorous Manga Panel Responses?

Ryosuke Kohita, Seiichiro Yoshioka|arXiv (Cornell University)|Jan 21, 2026

Humor Studies and Applications被引用 0

一句话总结

本文定义了梗回复选择任务并引入 MaMe-Re——一个包含10万对情境-梗的基准，使用日本漫画面板来研究互动梗回复中的幽默感，评估了多种基于相似性和偏好模型的方法。研究发现偏好型大模型能够捕捉诸如讽刺和夸张等复杂社交线索，但视觉信息往往并无帮助，区分幽默的微妙差异仍然具有挑战性。

ABSTRACT

Memes are a popular element of modern web communication, used not only as static artifacts but also as interactive replies within conversations. While computational research has focused on analyzing the intrinsic properties of memes, the dynamic and contextual use of memes to create humor remains an understudied area of web science. To address this gap, we introduce the Meme Reply Selection task and present MaMe-Re (Manga Meme Reply Benchmark), a benchmark of 100,000 human-annotated pairs (500,000 total annotations from 2,325 unique annotators) consisting of openly licensed Japanese manga panels and social media posts. Our analysis reveals three key insights: (1) large language models (LLMs) show preliminary evidence of capturing complex social cues such as exaggeration, moving beyond surface-level semantic matching; (2) the inclusion of visual information does not improve performance, revealing a gap between understanding visual content and effectively using it for contextual humor; (3) while LLMs can match human judgments in controlled settings, they struggle to distinguish subtle differences in wit among semantically similar candidates. These findings suggest that selecting contextually humorous replies remains an open challenge for current models.

研究动机与目标

• 将梗回复选择正式化为一个聚焦于梗-情境互动中涌现幽默的任务。
• 提供 MaMe-Re，一份公开许可的基准，包含10万对情境-梗及50万条标注。
• 分析当前模型如何感知并利用多模态线索来选择幽默的漫画面板回复。

提出的方法

• 定义一个评分函数 s(c, m)，给定情境 c 评定梗 m 的搞笑程度。
• 利用 MaMe-Re，包含250个情境、400个漫画面板，以及10万对情境-梗对，均由五名标注者标注。
• 评估两类主要策略：基于相似性的选择（嵌入的余弦相似度）和基于偏好的选择（基于 LLM 的最搞笑选择）。
• 在多个家族（Text-Emb、LLM-Emb、Multi-Emb、VLM-Emb）中比较文本只、混合模态和视觉-语言嵌入与模型。
• 使用 Score@1、Consensus Hit Rate (CHR) 和 nDCG@5 作为评估指标；通过检索再排序和受控实验探究可恢复性。

Figure 1: Overview of memes-as-replies. (a) Example of meme use on SNS. (b) Visualization of the Meme Reply Selection task. (c) MaMe-Re benchmark with crowdsourced humor labels.

实验结果

研究问题

• RQ1 LLMs 能否捕捉梗回复中的讽刺或夸张等复杂幽默线索？
• RQ2 在文本情境中加入视觉信息是否提升幽默特定梗的选择？
• RQ3 偏好型（LLM）方法在梗回复的幽默方面是否普遍优于基于相似性的嵌入？
• RQ4 当候选项在语义上更相似时，模型是否更困难，原因何在？

主要发现

• LLMs 在幽默中的复杂社会线索（特别是讽刺与夸张）方面显示出初步的建模证据。
• 引入视觉信息往往并未提升性能，表明对视觉内容的理解与用于幽默的能力之间存在差距。
• LLMs 在受控场景下可以与人类判断相匹配，但在语义相近候选项中对微妙的机智差异存在困难。
• 偏好型选择在原始分数上通常优于基于相似性的方式，但整体增益有限。
• 当候选项变得语义上更加相似时，性能下降，提示在细粒度幽默判别方面的挑战。

Figure 2: Crowdworker annotation interface and full task instruction for the funniness scoring task in MaMe-Re . Top: interface screenshot. Bottom: instruction text shown to annotators.