[論文レビュー] DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation

Jingnong Qu, Liunian Harold Li+3 more|arXiv (Cornell University)|May 25, 2022

Misinformation and Its Impacts被引用数 7

ひとこと要約

本論文では、COVID-19、ブラックライブズマター、ビーガニズムに関するデマ情報に焦点を当てた、1,170件のアノテーション付きRedditのミームを含むマルチモーダルデータセット、DisinfoMemeを紹介する。複数の単モーダルおよびマルチモーダルモデルをテストしたが、性能は満足できる水準に遠く及ばず、ミームにおけるデマ情報検出の分野において、マルチモーダル推論、レイアウト理解、外部知識統合の分野に大きな改善の余地があることが明らかになった。

ABSTRACT

Disinformation has become a serious problem on social media. In particular, given their short format, visual attraction, and humorous nature, memes have a significant advantage in dissemination among online communities, making them an effective vehicle for the spread of disinformation. We present DisinfoMeme to help detect disinformation memes. The dataset contains memes mined from Reddit covering three current topics: the COVID-19 pandemic, the Black Lives Matter movement, and veganism/vegetarianism. The dataset poses multiple unique challenges: limited data and label imbalance, reliance on external knowledge, multimodal reasoning, layout dependency, and noise from OCR. We test multiple widely-used unimodal and multimodal models on this dataset. The experiments show that the room for improvement is still huge for current models.

研究の動機と目的

• ソーシャルメディア上で拡散される、ウイルス的でマルチモーダルなミームによるデマ情報の拡散という、増加する課題に対処すること。
• ミームのデマ情報検出における、ユニークなマルチモーダルおよび文脈的課題を捉える、焦点的でトピック特化型のデータセットを構築すること。
• 意図的に誤解を招くミームを検出する分野におけるマルチモーダルモデルの評価ベンチマークを提供すること。
• 現在のモデルが、デマ情報検出の文脈で視覚的およびテクスチュアルなモダリティを効果的に活用する点での限界を浮き彫りにすること。

提案手法

• データセットは、COVID-19、ブラックライブズマター、ビーガニズムという3つの現在進行中の出来事に関連するサブレdditの投稿を収集することで構築された。
• アノテーションは、アマゾンのMechanical Turkを介して収集され、ミームがデマ情報かどうかを人間による検証付きの真値を保証する形で行われた。
• データセットには1,170件のアノテーション付きミームと、30,302件のアノテーションなし画像が含まれており、弱教師ありまたは教師なし学習アプローチを支援する。
• VisualBERT、ViLBERT、CLIPなどの複数の単モーダルおよびマルチモーダルなビジョン・アンド・ランゲージモデルを微調整し、データセット上で評価した。
• モデルのパフォーマンスはROC AUCを用いて評価され、ラベルの不均衡、OCRノイズ、レイアウト依存性、外部知識への依存性といった課題が分析された。
• 一般化とドメインシフトを評価するため、Hateful Memesデータセットからトランスファー学習をテストした。

実験結果

リサーチクエスチョン

• RQ1 トピック特化型データセット上で、現在のマルチモーダルモデルは単モーダルベースラインと比較して、ミームにおけるデマ情報検出にどの程度効果的か？
• RQ2 レイアウト、OCRノイズ、外部知識の影響が、マルチモーダルデマ情報検出モデルのパフォーマンスにどの程度及ぼされるか？
• RQ3 ハスル・ミームで事前学習したモデルは、異なる社会的文脈におけるデマミーム検出に一般化可能か？
• RQ4 データ不足とラベルの不均衡は、デマミーム検出におけるモデルパフォーマンスにどのように影響するか？
• RQ5 既存のモデルが、ミームにおける画像・テキストの組み合わせを推論する際の主な失敗モードは何か？

主な発見

• 現在のマルチモーダルモデルはDisinfoMeme上で僅かなパフォーマンスにとどまり、最高性能のモデルですらROC AUCスコアが0.75未満にとどまり、大幅な改善の余地があることが示された。
• マルチモーダルモデルは単モーダルモデルをわずかに上回るか、場合によっては下回る結果となり、デマ情報検出の文脈で視覚的およびテクスチュアル信号の統合が不十分であることが示唆された。
• Hateful Memesデータセットからのトランスファー学習はパフォーマンスの低下を引き起こし、2つのタスクの意味論的および推論要件に顕著な差があることが示された。
• あるトピック（例：COVID-19）で学習したモデルは、他のトピック（例：BLM やビーガニズム）への一般化が著しく劣り、デマミーム検出がトピック依存的であることが浮き彫りになった。
• 学習曲線から、より多くのデータでパフォーマンスが継続的に向上することが確認され、今後のマルチモーダル研究に意味的かつスケーラブルな課題を提供していることが確認された。