[論文レビュー] MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets

Shraman Pramanick, Shivam Sharma+4 more|arXiv (Cornell University)|Sep 11, 2021

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

MOMENTAは、文脈におけるローカルおよびグローバルな画像・テキスト相互作用を分析することで、有害なミームを検出し、その社会的標的を特定する画期的なマルチモーダル深層学習フレームワークである。新規のデータセットHarm-C（COVID-19）およびHarm-P（米国政治）において、10のベースラインを1.3–2.6%の絶対的精度で上回り、ドメイン間で強力な解釈可能性と一般化性能を示している。

ABSTRACT

Internet memes have become powerful means to transmit political, psychological, and socio-cultural ideas. Although memes are typically humorous, recent days have witnessed an escalation of harmful memes used for trolling, cyberbullying, and abuse. Detecting such memes is challenging as they can be highly satirical and cryptic. Moreover, while previous work has focused on specific aspects of memes such as hate speech and propaganda, there has been little work on harm in general. Here, we aim to bridge this gap. We focus on two tasks: (i)detecting harmful memes, and (ii)identifying the social entities they target. We further extend a recently released HarMeme dataset, which covered COVID-19, with additional memes and a new topic: US politics. To solve these tasks, we propose MOMENTA (MultimOdal framework for detecting harmful MemEs aNd Their tArgets), a novel multimodal deep neural network that uses global and local perspectives to detect harmful memes. MOMENTA systematically analyzes the local and the global perspective of the input meme (in both modalities) and relates it to the background context. MOMENTA is interpretable and generalizable, and our experiments show that it outperforms several strong rivaling approaches.

研究の動機と目的

• 明白に憎悪的または不快な内容ではないが、文脈とマルチモーダルな連携によって依然として有害なミームを検出する分野におけるギャップを埋める。
• 有害なミームが標的として特定する特定の社会的実体を同定するという、過去の嫌がらせや不快な内容検出研究では未だあまり検討されていないタスクに取り組む。
• HarMemeデータセットに新しい例と新しいトピック（米国政治）を追加し、有害性検出システムの広範な評価を可能にする。
• 背景文脈を効果的に統合するモデルを開発し、単一モodalや早期融合アプローチを凌駕する検出性能を向上させる。
• 多様なミームタイプやドメインにわたり、モデルの解釈可能性と一般化性能を保証する。

提案手法

• MOMENTAは、事前学習済みの視覚および言語エンコーダー（例：ViTおよびBERT）を用いて、画像およびテキスト特徴を別々に符号化する二重ブランチアーキテクチャを採用する。
• 局所的およびグローバルなアテンション機構を適用し、細かく分類可能な視覚的手がかり（例：ジェスチャー、顔の表情）と、画像とテキスト間のグローバルな意味的整合性を捉える。
• 外部の知識源や文脈エンコーダーから得られる背景文脈埋め込みと、マルチモーダル表現を統合する。
• 微妙な有害性を識別しやすくするために、有害ミームの表現とその標的を一致させるための対照的学習目的を採用する。
• Grad-CAMおよびLIMEベースのサリエンシーマップを用いて解釈性を実現し、予測に寄与する主要な画像領域およびテキストトークンを強調表示する。
• 敵対的訓練および正規化技術を用いて耐性を高め、拡張されたHarMemeデータセット上でエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 背景文脈を統合することで、微妙で文脈依存の有害ミームの検出性能がどの程度向上するか？
• RQ2 マルチモーダルモデルは、明確に不快または憎悪的ではないが依然として有害なミームを、どの程度正確に区別できるか？
• RQ3 統合されたフレームワークは、1つのアーキテクチャ内で有害ミームとその標的となる社会的実体を効果的に検出できるか？
• RQ4 MOMENTAの性能は、多様なミーム検出タスクにおいて、強力な単一モーダルおよびマルチモーダルベースラインと比較してどの程度優れているか？
• RQ5 予測に寄与する主な視覚的およびテキスト的特徴は何か？また、それらの特徴はどの程度解釈可能か？

主な発見

• MOMENTAは、Harm-CおよびHarm-Pの両データセットにおいて、10の強力なベースラインを1.3–2.6%の絶対的精度で上回った。
• モデルは優れた一般化性能を示し、元々のCOVID-19の焦点を越えて、未確認のトピックやドメイン（例：米国政治）に対しても良好な性能を発揮した。
• 解釈性分析の結果、サリエンシーマップにより、有害な手がかり（例：矛盾するジェスチャー、'CAMPAIGNING'のような特定の語）が正しく強調されていることが判明した。
• 高い性能を発揮しているにもかかわらず、明確な視覚的またはテキスト的手がかりがなく、根深い意味的意味が原因で有害性が生じるミームでは失敗しており、より深い文脈的推論の必要性が示された。
• フレームワークは、高精度でミームの標的（例：ジョー・バイデン、ドナルド・トランプ）を特定でき、これは過去の研究では広くサポートされていなかった能力である。
• アブレーションスタディにより、局所的およびグローバルなマルチモーダルモデリングに加え、背景文脈の統合が最適なパフォーマンスを達成するために不可欠であることが確認された。