[논문 리뷰] Memes-as-Replies: Can Models Select Humorous Manga Panel Responses?

Ryosuke Kohita, Seiichiro Yoshioka|arXiv (Cornell University)|2026. 01. 21.

Humor Studies and Applications인용 수 0

한 줄 요약

본 논문은 밈 답변 선택(Meme Reply Selection)을 정의하고 MaMe-Re를 도입한다. 이는 일본 만화 패널을 이용한 100,000개의 맥락-밈 쌍으로 인터랙티브한 밈 답변의 유머를 연구하는 대규모 벤치마크이며, 다양한 유사도 기반 및 선호도 기반 모델링 접근법을 평가한다. 선호도 기반 LLM이 아이러니와 과장 같은 복잡한 사회적 단서를 포착할 수 있지만, 시각 정보가 도움이 되는 경우는 드물고 재치의 뉘앙스를 구분하는 것은 여전히 도전적이다.

ABSTRACT

Memes are a popular element of modern web communication, used not only as static artifacts but also as interactive replies within conversations. While computational research has focused on analyzing the intrinsic properties of memes, the dynamic and contextual use of memes to create humor remains an understudied area of web science. To address this gap, we introduce the Meme Reply Selection task and present MaMe-Re (Manga Meme Reply Benchmark), a benchmark of 100,000 human-annotated pairs (500,000 total annotations from 2,325 unique annotators) consisting of openly licensed Japanese manga panels and social media posts. Our analysis reveals three key insights: (1) large language models (LLMs) show preliminary evidence of capturing complex social cues such as exaggeration, moving beyond surface-level semantic matching; (2) the inclusion of visual information does not improve performance, revealing a gap between understanding visual content and effectively using it for contextual humor; (3) while LLMs can match human judgments in controlled settings, they struggle to distinguish subtle differences in wit among semantically similar candidates. These findings suggest that selecting contextually humorous replies remains an open challenge for current models.

연구 동기 및 목표

• 밈-맥락 상호작용에서 생성되는 유머에 초점을 맞춘 과제로서 Meme Reply Selection을 형식화한다.
• 100,000개의 맥락-밈 쌍과 500,000개의 주석을 포함하는 공개 라이선스 벤치마크인 MaMe-Re를 제공한다.
• 현 모델들이 멀티모달 신호를 인지하고 활용하여 유머러스한 만화 패널 답변을 선택하는 방식을 분석한다.

제안 방법

• 맥락 c가 주어졌을 때 밈 m의 재미를 평가하는 점수 함수 s(c, m)을 정의한다.
• 각각 다섯 명의 작업자가 주석한 250개의 맥락, 400개의 만화 패널로 구성된 MaMe-Re를 생성하고, 100,000개의 맥락-밈 쌍을 만든다.
• 두 가지 주요 전략을 평가한다: 유사도 기반 선택(임베딩 간 코사인 유사도)과 선호도 기반 선택(LLM 기반 가장 재미있는 선택).
• 다수의 패밀리(Text-Emb, LLM-Emb, Multi-Emb, VLM-Emb)에 걸쳐 텍스트 전용, 멀티모달, 비전-언어 임베딩 및 모델을 비교한다.
• 평가 지표로 Score@1, Consensus Hit Rate (CHR), 및 nDCG@5를 사용하고, retrieve-and-rerank 및 제어된 실험을 통해 회복 가능성을 탐구한다.

Figure 1: Overview of memes-as-replies. (a) Example of meme use on SNS. (b) Visualization of the Meme Reply Selection task. (c) MaMe-Re benchmark with crowdsourced humor labels.

실험 결과

연구 질문

• RQ1 LLM이 밈 답변에서 아이러니나 과장과 같은 복잡한 유머 신호를 포착할 수 있는가?
• RQ2 텍스트 맥락에 시각 정보를 추가하는 것이 유머 특화 밈 선택을 개선하는가?
• RQ3 선호도 기반(LLM) 접근법이 유머에 대해 유사도 기반 임베딩보다 일관되게 더 우수한가?
• RQ4 사례가 의미적으로 비슷한 후보를 선택할 때 모델이 더 많은 어려움을 겪는가, 그리고 그 이유는 무엇인가?

주요 결과

• LLMs가 특히 아이러니와 과장에 대해 복잡한 사회적 신호를 모델링하는 예비 증거를 보인다.
• 시각 정보를 포함해도 성능이 향상되지 않는 경우가 많아, 시각 콘텐츠 이해와 유머 활용 사이의 차이가 있음을 시사한다.
• LLMs는 제어된 설정에서 인간 판단과 일치할 수 있지만, 의미적으로 유사한 후보들 간의 미묘한 재치 차이를 구분하는 데 어려움을 겪는다.
• 선호도 기반 선택은 원시 점수에서 일반적으로 유사도 기반 방법보다 우수하지만, 전반적으로 얻는 이점은 제한적이다.
• 후보 간 의미적 유사성이 커질수록 성능이 저하되며, 세밀한 유머 구분의 도전이 존재한다.

Figure 2: Crowdworker annotation interface and full task instruction for the funniness scoring task in MaMe-Re . Top: interface screenshot. Bottom: instruction text shown to annotators.