[論文レビュー] Team Yao at Factify 2022: Utilizing Pre-trained Models and Co-attention Networks for Multi-Modal Fact Verification

Wei‐Yao Wang, Wen-Chih Peng|arXiv (Cornell University)|Jan 26, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本論文は、テキストと画像の特徴抽出に事前学習済みの DeBERTa および DeiT モデルを用い、共注意力ネットワークを組み合わせてクロスマodalおよび同モダリティ表現を統合する、マルチモーダルな事実検証フレームワーク Pre-CoFact を提案する。本手法は、補助タスクやOCRデータを用いず、Factify 2022 チャレンジで F1 スコア 74.585% を達成し、5位を獲得した。

ABSTRACT

In recent years, social media has enabled users to get exposed to a myriad of misinformation and disinformation; thus, misinformation has attracted a great deal of attention in research fields and as a social issue. To address the problem, we propose a framework, Pre-CoFact, composed of two pre-trained models for extracting features from text and images, and multiple co-attention networks for fusing the same modality but different sources and different modalities. Besides, we adopt the ensemble method by using different pre-trained models in Pre-CoFact to achieve better performance. We further illustrate the effectiveness from the ablation study and examine different pre-trained models for comparison. Our team, Yao, won the fifth prize (F1-score: 74.585\%) in the Factify challenge hosted by De-Factify @ AAAI 2022, which demonstrates that our model achieved competitive performance without using auxiliary tasks or extra information. The source code of our work is publicly available at https://github.com/wywyWang/Multi-Modal-Fact-Verification-2021

研究の動機と目的

• ソーシャルメディアを通じた誤情報の拡散という増加する課題に取り組むこと。特に、テキストと画像を組み合わせたマルチモーダルなフェイクニュースに焦点を当てる。
• OCR や外部データに依存せずに、テキストおよび画像コンテンツを活用する強力な事実検証システムの開発。
• 共注意力メカニズムを用いてクロスマodalおよびイントラモダリティ依存関係をモデル化することで、マルチモーダルな事実検証のパフォーマンスを向上させること。
• ゼロショットまたは最小限のデータ設定における、さまざまな事前学習モデルおよびアンサンブル戦略の有効性を評価すること。

提案手法

• フレームワークは、テキストの主張および文書を処理するために DeBERTa-base を、画像を処理するために DeiT-base-patch16-224 を使用する。
• 共注意力モジュールを用いて、異なるモダリティ間（テキストと画像）および同じモダリティ内（主張と文書のテキスト／画像）の特徴を統合する。
• テキスト、画像、クロスアテンション、共注意力の4つの埋め込み表現を連結し、5つのカテゴリの分類に用いる。
• 複数の Pre-CoFact のバリエーション（例：RoBERTa や XLM-RoBERTa などの異なる事前学習モデル、Mish などの活性化関数）を組み合わせるアンサンブル戦略を採用し、一般化性能を向上させる。
• 微調整の際、DeBERTa および DeiT のモデルパラメータを固定することで、事前学習済みの知識を保持する。
• データ前処理では、画像を 256x256 にリサイズし、中央クロッピングで 224x224 に変換し、正規化を実施する。テキストシーケンスは 512 タイムステップに切り詰める。

実験結果

リサーチクエスチョン

• RQ1 OCR や補助データを一切使用せず、生のテキストと画像のみを用いて、マルチモーダルな事実検証システムが競争力のあるパフォーマンスを達成できるか？
• RQ2 共注意力メカニズムは、事実検証においてクロスマodalおよびイントラモダリティ依存関係を効果的にモデル化できるか？
• RQ3 DeBERTa や RoBERTa、XLM-RoBERTa、DeiT、DINO などの事前学習モデルのうち、このマルチモーダルな設定で最も優れたパフォーマンスを示すのはどれか？
• RQ4 アンサンブル手法は、マルチモーダルな事実検証におけるロバスト性およびパフォーマンスをどの程度向上させるか？

主な発見

• 提案された Pre-CoFact フレームワークは、バリデーションセットで重み付き F1 スコア 78.46% を達成し、アンサンブルモデルでは 80.02% に到達した。
• アブレーションスタディの結果、共注意力メカニズムがパフォーマンスを顕著に向上させていることが確認され、共注意力を除去すると F1 スコアが 4.34% 減少した。
• 共注意力を同モダリティ内（例：テキスト-テキスト または 画像-画像）に限定した場合、パフォーマンスは 76.43% にとどまり、完全な共注意力モデル（78.46%）に比べて劣った。これはクロスマodal アテンションの必要性を示している。
• アンサンブル手法により、ベースの Pre-CoFact モデルに比べてパフォーマンスが 1.56 パcentage ポints 向上し、一般化性能の向上が有効であることが示された。
• 事前学習モデルの比較では、DeBERTa および DeiT が XLM-RoBERTa や RoBERTa より優れた性能を示し、DeiT は DINO よりも優れた性能を示した。
• テストでの F1 スコアは 74.585% を達成し、Factify 2022 チャレンジで 5 位を獲得。ベースラインから 40.5% の上回りを記録した。