[論文レビュー] Multimodal and Explainable Internet Meme Classification

Abhinav Kumar Thakur, Filip Ilievski+5 more|arXiv (Cornell University)|Dec 11, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本論文は、例ベースおよびプロトタイプベースの推論を用い、最先端の視覚および言語モデルを統合することで、有害なインターネットミームを分類するモジュラーで説明可能なマルチモーダルフレームワークを提案する。本手法は、学習例の検索と比較により、透明性があり人間が理解可能な説明を提供しながら、嫌がらせ発言およびミソジニー検出において優れた性能を達成する。

ABSTRACT

In the current context where online platforms have been effectively weaponized in a variety of geo-political events and social issues, Internet memes make fair content moderation at scale even more difficult. Existing work on meme classification and tracking has focused on black-box methods that do not explicitly consider the semantics of the memes or the context of their creation. In this paper, we pursue a modular and explainable architecture for Internet meme understanding. We design and implement multimodal classification methods that perform example- and prototype-based reasoning over training cases, while leveraging both textual and visual SOTA models to represent the individual cases. We study the relevance of our modular and explainable models in detecting harmful memes on two existing tasks: Hate Speech Detection and Misogyny Classification. We compare the performance between example- and prototype-based methods, and between text, vision, and multimodal models, across different categories of harmfulness (e.g., stereotype and objectification). We devise a user-friendly interface that facilitates the comparative analysis of examples retrieved by all of our models for any given meme, informing the community about the strengths and limitations of these explainable methods.

研究の動機と目的

• インターネットミームが嫌がらせ発言やミソジニーを広める手段として増加する中、スケーラブルで公平なソーシャルメディアのコンテンツモデレーションの課題に対処すること。
• 訓練例およびプロトタイプに根ざした説明可能な推論を導入することで、ミーム分類におけるブラックボックスモデルの限界を克服すること。
• 最先端の視覚および言語モデルから得られるマルチモーダル表現を、ケースベース推論と組み合わせることで、性能を損なわせずに解釈可能性を向上させる方法を調査すること。
• モデル予測の比較分析を可能にするユーザーフrndリエントラントなインターフェースを提供することで、関係者が説明可能な手法の強みと限界を評価できるようにすること。
• MAMI や Hateful Memes のようなデータセットにおける主観的ラベル付けの影響を検討し、文脈的および文化的知識が正確なミーム理解に果たす役割を明らかにすること。

提案手法

• 最先端の視覚（例：CLIP、ViLBERT）および言語モデル（例：BERTベース）を統合したモジュラーなアーキテクチャを採用し、マルチモーダル特徴抽出を実現する。
• 学習済みマルチモーダル埋め込みに基づいて、類似度が高い訓練済みミームを検索することで、例ベースの推論を実装する。
• 各クラスの代表的プロトタイプを学習し、クラス固有の例と比較することで分類を実現する、プロトタイプベースの推論を適用する。
• 対照的学習および埋め込み類似度メトリクス（例：コサイン類似度）を用いて、説明に適した訓練ケースを同定する。
• 例ベース、プロトタイプベース、マルチモーダルモデルの予測を照合・比較可能な比較可視化インターフェースを設計する。
• Hateful Memes および MAMI の2つのベンチマークデータセットを用い、嫌がらせ発言およびミソジニー分類タスクに焦点を当ててモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 例ベースおよびプロトタイプベースの推論は、高い精度を維持しつつ、マルチモーダルミーム分類の解釈可能性を向上させることができるか？
• RQ2 視覚のみ、テキストのみ、マルチモーダルのモデルは、有害性の異なるカテゴリ（例：対象化、ステレオタイプ化）において、どのように有害ミームを分類するか？
• RQ3 訓練例に基づく説明可能な手法は、ブラックボックスモデルと比較して、ユーザーのモデル予測への理解および信頼をどの程度向上させるか？
• RQ4 MAMI や Hateful Memes のようなデータセットにおける主観的ラベル付けバイアスは、モデルのパフォーマンスおよび説明の信頼性にどのような影響を及えるか？
• RQ5 文脈的および文化的知識は、インターネットミームの正しく解釈する上で果たす役割は何か？また、それを説明可能なAIフレームワークに統合するにはどうすればよいか？

主な発見

• 例ベース手法は、精度および解釈可能性の両面でプロトタイプベース手法を上回り、エンドユーザーに対してより直感的で実行可能な説明を提供した。
• 視覚モデルのみがテキストモデルのみよりも高いパフォーマンスを達成した。これは、ミーム分類において視覚的特徴がより判別に優れていることを示している。
• 視覚と言語表現のマルチモーダル統合が、最高の全体的なパフォーマンスを達成した。これは、モダリティを統合することが重要であることを確認した。
• MAMI データセットのアノテーター間一致スコアが低く、ミソジニーおよび嫌がらせ発言のラベル付けが主観的であることが浮き彫りになり、訓練データにバイアスが生じていることが示された。
• ユーザーフレンドリーなインターフェースにより、モデル予測の効果的な比較分析が可能となり、さまざまなタイプのミームにおけるモデル固有の強みと限界が明らかになった。
• ラベル付けの主観性の課題にもかかわらず、本研究で提案するフレームワークは、説明可能なマルチモーダル分類が実世界のコンテンツモデレーションに実現可能で効果的であることを示した。