[論文レビュー] Understanding and Detecting Hateful Content using Contrastive Learning

Felipe González-Pizarro, Savvas Zannettou|arXiv (Cornell University)|Jan 21, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿では、対照的学習に基づくマルチモーダルモデルであるOpenAIのCLIPを用いて、4chanの/pol/掲示板におけるテキストおよび画像の反ユダヤ的・ムスリム嫌悪的コンテンツを検出することを提案する。GoogleのPerspective APIと手動アノテーションを活用して420の憎悪的表現を特定し、21,000枚の可能性のある憎悪的画像と246,000件の憎悪的表現を含む投稿を検出。F1スコアは0.54を達成し、2つのベースラインを上回る性能を示した。

ABSTRACT

The spread of hate speech and hateful imagery on the Web is a significant problem that needs to be mitigated to improve our Web experience. This work contributes to research efforts to detect and understand hateful content on the Web by undertaking a multimodal analysis of Antisemitism and Islamophobia on 4chan's /pol/ using OpenAI's CLIP. This large pre-trained model uses the Contrastive Learning paradigm. We devise a methodology to identify a set of Antisemitic and Islamophobic hateful textual phrases using Google's Perspective API and manual annotations. Then, we use OpenAI's CLIP to identify images that are highly similar to our Antisemitic/Islamophobic textual phrases. By running our methodology on a dataset that includes 66M posts and 5.8M images shared on 4chan's /pol/ for 18 months, we detect 173K posts containing 21K Antisemitic/Islamophobic images and 246K posts that include 420 hateful phrases. Among other things, we find that we can use OpenAI's CLIP model to detect hateful content with an accuracy score of 0.81 (F1 score = 0.54). By comparing CLIP with two baselines proposed by the literature, we find that CLIP outperforms them, in terms of accuracy, precision, and F1 score, in detecting Antisemitic/Islamophobic images. Also, we find that Antisemitic/Islamophobic imagery is shared in a similar number of posts on 4chan's /pol/ compared to Antisemitic/Islamophobic textual phrases, highlighting the need to design more tools for detecting hateful imagery. Finally, we make available (upon request) a dataset of 246K posts containing 420 Antisemitic/Islamophobic phrases and 21K likely Antisemitic/Islamophobic images (automatically detected by CLIP) that can assist researchers in further understanding Antisemitism and Islamophobia.

研究の動機と目的

• 対照的学習に基づく大規模事前学習モデルが、テキストと画像の両方における憎悪的コンテンツを適切な性能で検出できるかを調査すること。
• CLIPの性能が、既存のベースラインと比較して反ユダヤ的・ムスリム嫌悪的画像検出においてどのように異なるかを評価すること。
• 4chanの/pol/掲示板における憎悪的テキストおよび視覚的コンテンツの広がりを理解すること。
• 246,000件の投稿（420の憎悪的表現と21,000枚の可能性のある憎悪的画像を含む）のデータセットを公開し、今後の研究を支援すること。
• 自動化された憎悪コンテンツ検出における誤検出、モデルバイアス、および入力表現の違いへの感受性といった限界を浮き彫りにすること。

提案手法

• GoogleのPerspective APIと手動アノテーションを用いて、4chanの/pol/掲示板の6600万件の投稿から420の反ユダヤ的・ムスリム嫌悪的テキスト表現を特定した。
• テキストと画像を共有のベクトル空間に埋め込むために対照的学習を用いるOpenAIのCLIPモデルを適用し、特定された憎悪的表現に類似する画像を検出した。
• 憎悪的表現と高い類似度スコアを示した21,000枚の画像を抽出し、これらは反ユダヤ的またはムスリム嫌悪的コンテンツである可能性が高いとされた。
• 標準的な指標を用いてCLIPの性能を評価した：正解率（0.81）、適合率（0.54）、再現率（0.53）、F1スコア（0.54）。
• CLIPの性能を、憎悪的画像検出における2つの既存ベースラインと比較したところ、すべての指標でCLIPが優れていた。
• 誤検出、モデルバイアス（例：ムスリムとテロリズムの関連付け）、長文入力への感受性などの問題を特定するため、手動分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 CLIPのような大規模事前学習モデルは、妥当な性能で憎悪的コンテンツを検出できるか。また、最新の憎悪的画像分類器と比較してどのように異なるか。
• RQ2 4chanの/pol/掲示板における反ユダヤ的・ムスリム嫌悪的テキスト表現および画像の広がりはどの程度か。
• RQ3 入力表現の長さや画像の複雑さに応じてCLIPの性能はどのように変化するか。特に、大量のテキストを含む画像ではどうか。
• RQ4 憎悪コンテンツ検出においてCLIPに見られるバイアスは何か。それらは検出の信頼性にどのように影響するか。
• RQ5 誤検出は、CLIPおよび公開されたデータセットの下流研究における実用性にどの程度影響を与えるか。

主な発見

• CLIPは反ユダヤ的・ムスリム嫌悪的画像検出においてF1スコア0.54を達成し、正解率0.81、適合率0.54、再現率0.53を示した。
• CLIPは、憎悪的画像検出において、すべての評価指標（正解率、適合率、F1スコア）で2つの既存ベースラインを上回った。
• 本手法により、420の反ユダヤ的・ムスリム嫌悪的テキスト表現を含む246,000件の投稿と、21,000枚の可能性のある憎悪的画像が検出された。
• /pol/掲示板における反ユダヤ的・ムスリム嫌悪的画像の出現頻度は、テキスト表現と同等の水準であり、視覚的憎悪コンテンツの検出ツールの向上が求められていることを示している。
• CLIPは入力表現の長さに対して高い感受性を示し、長文表現やテキストが多数含まれる画像では性能が著しく低下した。
• 公開されたデータセットには多数の誤検出が含まれており、研究者が下流タスクにおけるノイズを低減するための追加的手動アノテーションを実施する必要があると予想される。