[論文レビュー] Memes-as-Replies: Can Models Select Humorous Manga Panel Responses?

Ryosuke Kohita, Seiichiro Yoshioka|arXiv (Cornell University)|Jan 21, 2026

Humor Studies and Applications被引用数 0

ひとこと要約

論文は meme-Reply の選択を正式化し、日本のマンガパネルを用いたインタラクティブなミーム返信のユーモアを研究する大規模ベンチマーク MaMe-Re（100,000 の context-meme ペア、10万件）を紹介。類似度ベースと嗜好ベースのモデリング手法を評価し、嗜好ベースのLLMは皮肉や誇張といった複雑な社会的手掛かりを捉えられる一方、視覚情報はあまり役に立たず、機知の微妙な差異を区別することは依然難しいことを示す。

ABSTRACT

Memes are a popular element of modern web communication, used not only as static artifacts but also as interactive replies within conversations. While computational research has focused on analyzing the intrinsic properties of memes, the dynamic and contextual use of memes to create humor remains an understudied area of web science. To address this gap, we introduce the Meme Reply Selection task and present MaMe-Re (Manga Meme Reply Benchmark), a benchmark of 100,000 human-annotated pairs (500,000 total annotations from 2,325 unique annotators) consisting of openly licensed Japanese manga panels and social media posts. Our analysis reveals three key insights: (1) large language models (LLMs) show preliminary evidence of capturing complex social cues such as exaggeration, moving beyond surface-level semantic matching; (2) the inclusion of visual information does not improve performance, revealing a gap between understanding visual content and effectively using it for contextual humor; (3) while LLMs can match human judgments in controlled settings, they struggle to distinguish subtle differences in wit among semantically similar candidates. These findings suggest that selecting contextually humorous replies remains an open challenge for current models.

研究の動機と目的

• ミーム-context の相互作用から生じるユーモアに焦点を当てたタスクとして Meme Reply Selection を正式化する。
• MaMe-Re を公開ライセンスのベンチマークとして提供し、100,000 の context-meme ペアと 500,000 の注釈を提供する。
• 現在のモデルがマルチモーダルな手掛かりをどのように認識・活用して、マンガパネルの返信としてのユーモアをどう選択するかを分析する。

提案手法

• 文脈 c に対してミーム m のおもしろさを評価するスコアリング関数 s(c, m) を定義する。
• 250 の context、400 枚のマンガパネル、5名の作業者で注釈された 100,000 の context-meme ペアから MaMe-Re を作成する。
• 2つの主要戦略を評価する：類似度ベースの選択（埋め込みのコサイン類似度）と嗜好ベースの選択（LLM ベースの最もおもしろい選択）。
• テキスト専用、マルチモーダル、ビジョン-言語埋め込み・モデルを複数ファミリー（Text-Emb, LLM-Emb, Multi-Emb, VLM-Emb）で比較する。
• Score@1、Consensus Hit Rate (CHR)、nDCG@5 を評価指標として用い、retrieve-and-rerank による回収性と統制実験を検討する。

Figure 1: Overview of memes-as-replies. (a) Example of meme use on SNS. (b) Visualization of the Meme Reply Selection task. (c) MaMe-Re benchmark with crowdsourced humor labels.

実験結果

リサーチクエスチョン

• RQ1 LLM は meme の返信における皮肉や誇張といった複雑なユーモアの手掛かりを捉えられるか？
• RQ2 視覚情報をテキスト文脈に追加することで、ユーモア特有のミーム選択は改善されるか？
• RQ3 嗜好ベース（LLM）アプローチは、類似度ベースの埋め込みよりも一貫してユーモアの点で優れているか？
• RQ4 semantically similar な候補を選ぶ場合、モデルはより苦戦するか。なぜそうなるのか？

主な発見

• LLMs はユーモアにおける複雑な社会的手掛かり、特に皮肉と誇張をモデル化する初期的な証拠を示す。
• 視覚情報の含有はパフォーマンスを改善しないことが多く、視覚コンテンツ理解とユーモアの使用にはギャップがあることを示唆する。
• LLMs は制御された設定で人間の判断と一致できるが、 semantically similar な候補間の機知の微妙な差を捉えるのに苦労する。
• 嗜好ベースの選択は生のスコアでは概して類似度ベース手法を上回るが、全体的な改善は限定的である。
• 候補がよりセマンティックに似通うと、性能が低下し、細かなユーモアの識別が難しくなる。

Figure 2: Crowdworker annotation interface and full task instruction for the funniness scoring task in MaMe-Re . Top: interface screenshot. Bottom: instruction text shown to annotators.