[論文レビュー] Humor in Collective Discourse: Unsupervised Funniness Detection in the New Yorker Cartoon Caption Contest

Dragomir Radev, Amanda Stent+9 more|arXiv (Cornell University)|Jun 26, 2015

Topic Modeling参考文献 12被引用数 29

ひとこと要約

本稿では、感情、人間中心性、語彙的中心性などの言語的および構造的特徴を用いて、『ニューヨーカー』の漫画のキャプションにおける面白さを教師なしで検出する手法を提案する。感情の否定的傾向、人間に関する言及、集団的合意を反映するキャプションが、面白さの予測に最も寄与することが判明した。これは、50枚の漫画について50万件を超えるキャプションを対象に、Amazon Mechanical Turkを用いた評価で検証された。

ABSTRACT

The New Yorker publishes a weekly captionless cartoon. More than 5,000 readers submit captions for it. The editors select three of them and ask the readers to pick the funniest one. We describe an experiment that compares a dozen automatic methods for selecting the funniest caption. We show that negative sentiment, human-centeredness, and lexical centrality most strongly match the funniest captions, followed by positive sentiment. These results are useful for understanding humor and also in the design of more engaging conversational agents in text and multimodal (vision+text) systems. As part of this work, a large set of cartoons and captions is being made available to the community.

研究の動機と目的

• 教師あり分類にとどまらない、キャプションの面白さを順位付けする教師なし手法の開発。
• 集団的ユーザー生成キャプションにおける認識されたユーモアと関連する言語的および構造的特徴の同定。
• Amazon Mechanical Turkを用いた人間の判断による特徴の評価を通じて、面白さを最もよく予測する特徴を特定。
• 『ニューヨーカー』の漫画キャプションおよび漫画コンテンツを含む、大規模でアノテーション済みのコーパスを公開し、今後の研究や共有タスクを支援。
• マルチモーダルでテキスト中心の議論文脈において、集団的知恵と意味的中心性がユーモア検出に果たす役割の理解。

提案手法

• TF-IDFと単語埋め込みを用いて、50枚の『ニューヨーカー』漫画コンテストにわたる298,224件のキャプションから語彙的ネットワークを構築した。
• LexRankを適用し、各コンテストにおける最も中心的（意味的に代表的）なキャプションを特定し、集団的合意の指標とした。
• グラフクラスタリングを用いてキャプションのテーマ的グループを同定し、クラスターサイズに基づいてキャプションの中心性を評価した。
• 語彙ベースのアプローチを用いて感情スコアを抽出し、肯定的および否定的感情を区別した。
• 人間中心性を、人間や社会的関係、人称代名詞への言及回数のカウントによって測定した。
• 文法的複雑さ、対象物との整合性（具体性）、フォーマットの不具合を含む、キャプションの品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 集団的ディス course の文脈において、どの言語的および構造的特徴がキャプションの面白さを最もよく予測するか？
• RQ2 感情、人間中心性、語彙的中心性といった特徴は、独自性や文法的正しさといった従来の指標と比較して、どのようにユーモア予測に優れているか？
• RQ3 語彙的中心性またはクラスターサイズで測定される集団的合意は、個別の逸脱キャプションよりも、面白さの予測にどれほど優れているか？
• RQ4 教師なし手法は、公式の編集選定およびアンチジョーと比較して、面白さの順位付けにおいてどのように異なるか？
• RQ5 否定的感情や人間に関する言及といった特徴は、他の言語的手がかりと比較して、一貫してユーモア検出において優れた性能を示せるか？

主な発見

• 否定的感情が、最も強い予測要因であった。特に、最も顕著な合意状況（s4）において1.69のスコアを示し、肯定的感情を上回った。
• 人間中心性（人間、関係性、人称代名詞への言及）は、2番目に強い予測要因であり、s4で1.45のスコアを示した。これは、社会的ユーモアに関する先行研究と整合的であった。
• 語彙的中心性（LexRankおよびクラスターサイズで測定）は、3番目に効果的な特徴であり、1.39（OR2）および-4.40（OR3R）のスコアを示した。これは、集団的合意が面白さと相関していることを示している。
• 肯定的感情と適切なフォーマットは、それぞれs3で4番目および5番目に強い特徴であり、スコアは0.83および0.61であった。
• 公式の優勝キャプション（NY1）はs4で3.57のスコアを示し、人間による合意が強いことを示したが、全体的な予測力では否定的感情および人間中心性に及ばなかった。
• 50枚の漫画、298,224件のキャプション、および手動による物体アノテーションを含むコーパスは、今後の面白さ検出に関する研究や共有タスクを支援する目的で公開された。