[論文レビュー] The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes

Douwe Kiela, Hamed Firooz+5 more|arXiv (Cornell University)|May 10, 2020

Hate Speech and Cyberbullying Detection参考文献 94被引用数 146

ひとこと要約

この論文は、memes におけるヘイトスピーチ検出のための10k-meme マルチモーダルデータセットを紹介し、真のマルチモーダル推論を要求する設計で、さまざまな unimodal および multimodal モデルを評価し、人間が現行モデルを上回る。

ABSTRACT

This work proposes a new challenge set for multimodal classification, focusing on detecting hate speech in multimodal memes. It is constructed such that unimodal models struggle and only multimodal models can succeed: difficult examples ("benign confounders") are added to the dataset to make it hard to rely on unimodal signals. The task requires subtle reasoning, yet is straightforward to evaluate as a binary classification problem. We provide baseline performance numbers for unimodal models, as well as for multimodal models with various degrees of sophistication. We find that state-of-the-art methods perform poorly compared to humans (64.73% vs. 84.7% accuracy), illustrating the difficulty of the task and highlighting the challenge that this important problem poses to the community.

研究の動機と目的

• 単一モダリティの手掛かりを超えるマルチモーダル推論を必要とするヘイトスピーチ検出タスクを定義する。
• 合法的なライセンスを持つ再構成型のミームデータセットを構築し、単一モダリティの事前知識を挑戦する中立的な混乱要因（benign confounders）を含める。
• マルチモーダルモデルと人間を比較するための明確な評価指標とベースラインを提供する。
• アノテータの一致度とデータセット特性を分析し、ヘイトのカテゴリと攻撃タイプを理解する。
• マルチモーダル理解の進展と実世界のヘイトスピーチ緩和を促進する公開ベンチマークを提供する。

提案手法

• 意味を保つために Getty images をライセンス済みの画像で再構成してチャレンジセットを構築する。
• ヘイト性を評価するために3段階尺度（ definitely hateful, not sure, definitely not hateful ）を用いてミームを注釈付けし、二値ラベルを導出する。
• ラベルを反転させる善良な混乱要因（画像とテキストの双方）を作成し、マルチモーダル依存を強制する。
• 開発用・テスト用・ファインチューニング用セットにデータを分割し、開発・テストの分布をバランスさせ、ROC AUCと精度を報告する。
• 画像のみ、テキストのみ、初期/中期/後期フュージョン、マルチモーダル事前学習バリアントなど、幅広い unimodal および multimodal モデルを評価する。
• 人間のパフォーマンスとの差を示すため、モデル間のベースライン性能を提供する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルモデルは benign confounders が存在する場合、ヘイトスピーチ検出で unimodal ベースラインを上回ることができるか。
• RQ2 マルチモーダル事前学習は、このタスクの性能に対して unimodal 事前学習とどう異なる影響を与えるか。
• RQ3 このベンチマークにおける現行モデルと人間のパフォーマンスのギャップはどの程度か。
• RQ4 画像とテキストの手掛かりは、それぞれヘイトフルなミームの検出においてどのような役割を果たすか。
• RQ5 アノテーションの信頼性はどの程度で、ヘイト性判断に対するアノテータ間の一致はどの程度か。

主な発見

• unimodal モデルは multimodal モデルに比べて苦戦し、テキストベースの信号がこのタスクで画像のみの信号よりやや有利である。
• マルチモーダルモデルは概ね unimodal ベースラインを上回り、早期フュージョンアーキテクチャが後期フュージョンより良い結果を示す。
• マルチモーダル事前学習は unimodal 事前学習ベースラインに比べて限られた改善しか示さず、マルチモーダル学習の改善余地を示唆する。
• このデータセットでの人間のパフォーマンスは最先端モデルよりはるかに高く、タスクの難易度を浮き彫りにしている。
• アノテータの一致は中程度（Cohen’s kappa 68.4）であり、論文の定義の下でヘイトスピーチを分類する難しさを反映している。
• データセットには多様なミームタイプが含まれており（マルチモーダルヘイト、ユニモーダルヘイト、ベネフィットの交絡因子、ランダムな非ヘイト）真のマルチモーダル推論を強調する。