[論文レビュー] Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge

Catherine Jennifer, Fatemeh Tahmasbi+4 more|OpenBU (Boston University)|Feb 17, 2022

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本研究では、4chanの/pol/およびFacebookのHateful Memes Challengeから得たデータセットを用いて、悪意あるミーム検出のための最先端のマルチモーダルモデルを評価している。視覚的特徴がテキストベースの分析を上回ること、また、合成されたFacebookデータで訓練されたモデルは、フェア・プラットフォームのウイルス性ミームには一般化しにくく、現在の検出システムに深刻な制限があることが明らかになった。

ABSTRACT

Internet memes have become a dominant method of communication; at the same time, however, they are also increasingly being used to advocate extremism and foster derogatory beliefs. Nonetheless, we do not have a firm understanding as to which perceptual aspects of memes cause this phenomenon. In this work, we assess the efficacy of current state-of-the-art multimodal machine learning models toward hateful meme detection, and in particular with respect to their generalizability across platforms. We use two benchmark datasets comprising 12,140 and 10,567 images from 4chan's "Politically Incorrect" board (/pol/) and Facebook's Hateful Memes Challenge dataset to train the competition's top-ranking machine learning models for the discovery of the most prominent features that distinguish viral hateful memes from benign ones. We conduct three experiments to determine the importance of multimodality on classification performance, the influential capacity of fringe Web communities on mainstream social platforms and vice versa, and the models' learning transferability on 4chan memes. Our experiments show that memes' image characteristics provide a greater wealth of information than its textual content. We also find that current systems developed for online detection of hate speech in memes necessitate further concentration on its visual elements to improve their interpretation of underlying cultural connotations, implying that multimodal models fail to adequately grasp the intricacies of hate speech in memes and generalize across social media platforms.

研究の動機と目的

• 異なるソーシャルメディア・プラットフォームにおける悪意あるミーム検出のためのマルチモーダル機械学習モデルの有効性を評価すること。
• Facebookが提供する合成データセットで訓練されたモデルが、4chanの/pol/のようなフェア・コミュニティからのウイルス性ミームに一般化できるかを調査すること。
• ウイルス性の悪意あるミームと通常のミームを区別するための主な視覚的および文脈的特徴を特定すること。
• 分類性能およびモデルの一般化能力に与える、画像とテキストのマルチモーダル統合の役割を評価すること。
• マルチモーダル・ミームにおける嫌がらせ発言の検出における、現在のデータセットおよびモデルの限界を明らかにすること。

提案手法

• 分類性能へのテキスト的要因の寄与を評価するため、4chanの/pol/から抽出した12,140枚のミームを用いてVisualBERTを訓練した。
• FacebookのHateful Memes Challengeデータセットで事前学習されたUNITERモデルを4chanのミームに適用し、異機微プラットフォーム間での一般化性をテストした。
• 4chanのミームに特化して訓練したUNITER、OSCAR、およびアンサンブルモデルを用い、コンテストで優れた性能を示したソリューションの転送可能性を評価した。
• 最も優れたモデルに対して特徴の寄与度分析を実施し、悪意あるミーム分類において最も影響力のある視覚的属性を同定した。
• KielaらおよびZannettouらのベンチマークデータセットを用いて、実験間の一貫性と比較可能性を確保した。
• 視覚的特徴と文脈的特徴の影響を分離するために、ユニモーダル（画像のみ）およびマルチモーダル（画像＋テキスト）表現を適用した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル性（画像とテキストの統合）が、悪意あるミーム検出においてどれほど重要であるか？
• RQ2 FacebookのHateful Memes Challengeデータセットで訓練されたモデルは、4chanなどの他のプラットフォームのミームにどれほど移植可能か？
• RQ3 ウイルス性の悪意あるミームと通常のミームを区別するための主な視覚的および文脈的特徴は何か？
• RQ4 現在のマルチモーダルモデルは、合成データで訓練された場合、どの程度異なるプラットフォーム間で一般化できるか？
• RQ5 どの視覚的属性がミームのウイルス性および嫌がらせの認識と最も強く相関しているか？

主な発見

• ミームの視覚的特徴は、テキスト的コンテンツよりもはるかに判別能が高く、ユニモーダル（画像のみ）設定でも80％の分類精度を達成できた。
• Facebookの合成Hateful Memes Challengeデータセットで訓練されたモデルは、現実世界の4chanのミームでは性能が著しく低く、ベンチマークデータの代表性が低く、一般化性に欠けることが示された。
• 最良のアンサンブルモデルは、4chanのウイルス性悪意あるミームを84％の精度で分類できた。これは、現実世界の検出においてマルチモーダル統合の有効性を示している。
• 被験で一貫してウイルス性および嫌がらせの認識に関連した4つの視覚的属性——主題、顔の表情、ジェスチャー、比率——が特定された。
• テキスト的コンテンツだけでは分類性能を説明できず、モデルはテキスト的特徴に依存せずに高い精度を達成していた。
• モデルの予測にバイアスが存在することが判明した。特に「Jew」といった語句が、悪意のない文脈でも嫌がらせと誤って特定される傾向があり、嫌がらせ検出における文化的・文脈的ニュアンスの難しさが浮き彫りになった。