[論文レビュー] Multimodal Learning for Hateful Memes Detection

Yi Zhou, Zhenhao Chen|arXiv (Cornell University)|Nov 25, 2020

Hate Speech and Cyberbullying Detection参考文献 55被引用数 5

ひとこと要約

本論文は、画像キャプション、物体検出、OCRテキストを統合することで、視覚的領域、画像キャプション、テキストコンテンツの間のクロスモodal関係をモデル化することにより、嫌がらせのためのミーム検出を向上させる、新しい三重関係ネットワーク（TRN）を提案する。この手法は最先端の性能を達成し、Hateful Memes Challenge Phase 2 において276チーム中13位となり、生成されたキャプションを用いた視覚的および言語的特徴を用いてテストF1スコア74.80％を達成した。

ABSTRACT

Memes are used for spreading ideas through social networks. Although most memes are created for humor, some memes become hateful under the combination of pictures and text. Automatically detecting the hateful memes can help reduce their harmful social impact. Unlike the conventional multimodal tasks, where the visual and textual information is semantically aligned, the challenge of hateful memes detection lies in its unique multimodal information. The image and text in memes are weakly aligned or even irrelevant, which requires the model to understand the content and perform reasoning over multiple modalities. In this paper, we focus on multimodal hateful memes detection and propose a novel method that incorporates the image captioning process into the memes detection process. We conduct extensive experiments on multimodal meme datasets and illustrated the effectiveness of our approach. Our model achieves promising results on the Hateful Memes Detection Challenge.

研究の動機と目的

• テキストと視覚的コンテンツが弱く整合している、あるいは意味的に無関係な場合に、嫌がらせのためのミームを検出する課題に対処すること。
• 生成された画像キャプションを追加モダリティとして組み込むことで、嫌がらせのためのミーム検出におけるマルチモーダル推論を向上させること。
• 視覚的領域、OCRテキスト、および画像キャプションの間の複雑なクロスモーダル関係をモデル化し、より正確な分類を実現すること。
• 画像キャプションと言語拡張が、嫌がらせのためのミーム検出におけるマルチモーダル表現学習を強化する有効性を評価すること。

提案手法

• ミームの説明的キャプションを生成する画像キャプション生成器を統合し、マルチモーダル推論のための追加の意味的文脈を提供する。
• 物体検出器を用いて視覚的領域特徴（RoIs）を抽出し、OCRで抽出されたテキストおよび生成されたキャプションと統合する。
• 三つの入力（画像キャプション、検出されたオブジェクト、OCRテキスト）の間の関係を、クロスアテンション機構を用いてモデル化する三重関係ネットワーク（TRN）を採用する。
• 視覚的および言語的特徴を別々にエンコードした後、融合を行うために、二ストリーム（V&L）およびワンストリーム（V+L）のトランスフォーマーに基づくアーキテクチャを適用する。
• 特に二ストリーム設定において、テキストモダリティの耐性を高めるために、バックトランスレーションを用いたデータ拡張を実施する。
• オブジェクトラベルを言語的トークンとして扱い、OCRテキストおよびキャプションと連結することで、クロスモーダル整合性を強化する。

Figure 1 : Illustration of our proposed multimodal memes detection approach. It consists of an image captioner, an object detector, a triplet-relation network, and a classifier. Our method considers three different knowledge extracted from each meme: image caption, OCR sentences, and visual features

実験結果

リサーチクエスチョン

• RQ1 生成された画像キャプションは、追加の意味的文脈を提供することで、嫌がらせのためのミーム検出モデルの性能を向上させることができるか？
• RQ2 三重関係ネットワークは、ミームにおける画像キャプション、検出されたオブジェクト、OCRテキストの間の関係を効果的にモデル化できるか？
• RQ3 バックトランスレーションによる言語データ拡張は、特に二ストリームアーキテクチャにおいて、モデルの汎化性能を向上させるか？
• RQ4 キャプションおよびOCRテキストと組み合わせた場合、オブジェクトラベルはどれほどクロスモーダル整合性を向上させるか？
• RQ5 提案手法は、嫌がらせのためのミーム検出ベンチマークにおいて、既存のマルチモーダル統合手法と比較してどのように優れているか？

主な発見

• 画像キャプションとマルチモーダル統合を組み合わせた本手法は、Hateful Memes Challenge Phase 2 で276チーム中13位となり、テストF1スコア74.80％を達成した。
• 画像キャプションを組み込んだV&Lモデルは、他のすべてのV&Lベースラインを上回り、生成キャプションがクロスモーダル推論を向上させる有効性を示した。
• バックトランスレーションは二ストリーム（V&L）モデルの性能を向上させたが、ワンストリーム（V+L）モデルでは向上しなかった。これは、別々のモダリティをモデル化する場合に、拡張されたテキストがより効果的であることを示している。
• オブジェクトラベルはV+LおよびV&L両方のモデルにおいて顕著に性能向上をもたらし、視覚的領域と言語的特徴の間の有効なアンカーとして機能した。
• 三重関係ネットワークは、画像コンテンツ、キャプション、テキスト間の暗黙の関係を効果的に捉え、OCRテキストと画像が意味的に一致しない場合でも正しい分類を可能にした。
• 定性的な結果から、生成された画像キャプションを活用することで、非整合的または皮肉的なテキストを含むミームにおいても、嫌がらせの意図を正しく検出できることが示された。

Figure 2 : Overview of our proposed hateful memes detection framework. It consists of three components: image captioner, object detector, and triplet-relation network. The top branch shows the training of the image captioning model on image-caption pairs. The bottom part is meme detection. It takes