[論文レビュー] VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias
本稿では、非対称なマルチモーダル誤情報や未利用のモダリティを除外し、モダリティのバランスを保つことで、単モダリティバイアスを軽減する、実世界のデータを用いた頑健なマルチモーダル誤情報検出ベンチマーク「VERITE」を紹介する。また、画像と誤解を招くキャプションの間のクロスマダリティ関係を保持する、現実的で困難な合成トレーニングデータを生成する手法「CHASMA」も提案し、ベースラインモデルに比べてVERITEで9.2%の精度向上を達成した。
Multimedia content has become ubiquitous on social media platforms, leading to the rise of multimodal misinformation (MM) and the urgent need for effective strategies to detect and prevent its spread. In recent years, the challenge of multimodal misinformation detection (MMD) has garnered significant attention by researchers and has mainly involved the creation of annotated, weakly annotated, or synthetically generated training datasets, along with the development of various deep learning MMD models. However, the problem of unimodal bias has been overlooked, where specific patterns and biases in MMD benchmarks can result in biased or unimodal models outperforming their multimodal counterparts on an inherently multimodal task, making it difficult to assess progress. In this study, we systematically investigate and identify the presence of unimodal bias in widely used MMD benchmarks, namely VMU-Twitter and COSMOS. To address this issue, we introduce the “VERification of Image-TExt pairs” (VERITE) benchmark for MMD which incorporates real-world data, excludes “asymmetric multimodal misinformation” and utilizes “modality balancing”. We conduct an extensive comparative study with a transformer-based architecture that shows the ability of VERITE to effectively address unimodal bias, rendering it a robust evaluation framework for MMD. Furthermore, we introduce a new method—termed Crossmodal HArd Synthetic MisAlignment (CHASMA)—for generating realistic synthetic training data that preserve crossmodal relations between legitimate images and false human-written captions. By leveraging CHASMA in the training process, we observe consistent and notable improvements in predictive performance on VERITE; with a 9.2% increase in accuracy.
研究の動機と目的
- VMU-Twitter や COSMOS のような既存のマルチモーダル誤情報検出（MMD）ベンチマークに見られる単モダリティバイアスを特定・是正すること。
- データセットバイアスによる単モダリティモデルがマルチモーダルモデルを上回るのを防ぐ、信頼性が高く頑健なMMD評価フレームワークを構築すること。
- 画像と誤解を招くキャプションの間の現実的なクロスマダリティ関係を保持する、合成トレーニングデータを生成する新手法「CHASMA」を導入すること。
- モダリティのバランスが取れた評価と合成データ生成が、実世界のベンチマーク上でマルチモーダルモデルの性能を顕著に向上させることを実証すること。
提案手法
- VERITEは、非対称なマルチモーダル誤情報（一方のモダリティが支配的）を除外した、実世界の画像・キャプションペアを用いて構築された。
- モダリティのバランスを確保するため、各画像とキャプションが、真実のペアと誤解を招くペアの両方で2回ずつ出現するように設計されている。これにより、モデルが両方のモダリティを考慮するよう強制される。
- CHASMAは、事前学習済みのクロスマダリティ整合性モデルを活用し、本物の画像と偽のヒューマンライティングキャプションとの間で現実的で困難な整合性のないペアを生成する。
- 大規模な事前学習モデルを用いることで、生成された偽キャプションが意味的に妥当であり、画像と整合性を持つクロスマダリティ関係を維持していることを保証する。
- 実データとCHASMAで生成された合成データの組み合わせを用いてモデルをトレーニングし、異なるデータ組み合わせの性能を比較するアブレーションスタディを実施する。
- 評価にはトランスフォーマー基盤のアーキテクチャを用い、多クラス正解率とバイアス分析を用いてVERITE上での性能を測定する。
実験結果
リサーチクエスチョン
- RQ1VMU-Twitter や COSMOS のような既存のMMDベンチマークは、どの程度単モダリティバイアスを示しており、それがモデル評価にどのように影響を与えるか？
- RQ2VERITE のようなモダリティのバランスが取れた評価ベンチマークは、単モダリティモデルがマルチモーダルモデルを上回るのを効果的に防げるか？
- RQ3CHASMAは、現実的なクロスマダリティ関係を保持しつつ、マルチモーダル検出性能を向上させる合成トレーニングデータをどれほど効果的に生成できるか？
- RQ4CHASMAで生成されたデータの導入により、特に実世界のベンチマーク（VERITE）上で、単モダリティバイアスが訓練済みモデルに及ぼす影響が軽減されるか？
主な発見
- CHASMAで生成されたデータを用いてトレーニングした場合、VERITEにおける多クラス正解率は52.1%に達し、ベースラインのCLIP-NESt + NC-t2tモデルに比べて9.2%の向上を示した。
- CHASMAを用いてトレーニングしたモデルは、そうでないモデルに比べて一貫して優れた性能を示し、CHASMA + NC-t2tは48.7%の正解率を達成したのに対し、CLIP-NESt + NC-t2tは47.7%であった。
- CHASMAでトレーニングしたモデルに見られたテキスト側の単モダリティバイアスは、VERITE上では確認されず、VERITEが評価段階でこうしたバイアスを効果的に軽減していることを示している。
- VERITEにおけるモダリティのバランスは、各画像とキャプションが真実と誤解を招く両方の文脈に登場するため、モデルが単一のモダリティに依存するのを効果的に防いでいる。
- CHASMAによる性能向上は、$D(I,C)$ および $D^{-}(I;C)$ の両方のモデルバリアントにわたって一貫しており、その有効性が確認された。
- VERITEは信頼できるベンチマークであることが示された。COSMOS や VMU-Twitter のような従来のベンチマークとは異なり、単モダリティモデルがマルチモーダルモデルを上回るのを防いでいる。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。