[論文レビュー] Cross-modal Contrastive Learning for Multimodal Fake News Detection

Longzheng Wang, Chuang Zhang+4 more|arXiv (Cornell University)|Feb 25, 2023

Misinformation and Its Impacts被引用数 6

ひとこと要約

COOLANT は、二重エンコーダー構造を用いて画像・テキストの整合性を向上させ、補助的一致性タスクによりネガティブな対照損失を緩和し、アテンション誘導型融合を用いて特徴の集約を改善する、マルチモーダルフェイクニュース検出のためのクロスマodal対照学習フレームワークである。TwitterおよびWeiboデータセットにおいて最先端の性能を達成し、それぞれF1スコア0.901および0.920を記録した。

ABSTRACT

Automatic detection of multimodal fake news has gained a widespread attention recently. Many existing approaches seek to fuse unimodal features to produce multimodal news representations. However, the potential of powerful cross-modal contrastive learning methods for fake news detection has not been well exploited. Besides, how to aggregate features from different modalities to boost the performance of the decision-making process is still an open question. To address that, we propose COOLANT, a cross-modal contrastive learning framework for multimodal fake news detection, aiming to achieve more accurate image-text alignment. To further improve the alignment precision, we leverage an auxiliary task to soften the loss term of negative samples during the contrast process. A cross-modal fusion module is developed to learn the cross-modality correlations. An attention mechanism with an attention guidance module is implemented to help effectively and interpretably aggregate the aligned unimodal representations and the cross-modality correlations. Finally, we evaluate the COOLANT and conduct a comparative study on two widely used datasets, Twitter and Weibo. The experimental results demonstrate that our COOLANT outperforms previous approaches by a large margin and achieves new state-of-the-art results on the two datasets.

研究の動機と目的

• 従来のマルチモーダルフェイクニュース検出手法が直交的で柔軟性に欠けるユニモーダル統合とワンホット対照損失に依存するという限界を解消すること。
• ネガティブサンプルのためのソフトターゲットを活用することで、フェイクニュースにおける視覚的・言語的表現間のクロスマodal整合性を向上させること。
• ユニモーダルおよびクロスマodal特徴を効果的かつ解釈可能に統合するメカニズムを構築し、意思決定を強化すること。
• マルチモーダルフェイクニュース検出における異なるコンポーネントのモデル性能への影響を調査すること。
• 高度な対照学習および統合戦略を用いて、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 二重エンコーダー枠組みを用いて、意味論的レベルでの視覚的およびテキスト的表現を学習する。
• 画像・テキスト対照学習（ITC）は、ポジティブな画像・テキストペアを整列させると同時に、ネガティブペアを分離することでクロスマodal整合性を向上させる。
• 補助的一致性学習タスクにより、ネガティブサンプルの対照損失を緩和し、不一致ペアへの過剰適合を低減する。
• クロスマodal統合（CMF）モジュールは、整列済みのユニモーダル特徴とクロスマodal表現間の相関関係を学習する。
• アテンションマップを用いたアテンション機構とアテンション誘導モジュールにより、ユニモーダル、クロスマodal、統合表現からの特徴を動的に統合し、解釈可能性と性能を向上させる。
• 対照的および一貫性の目的関数を用いて、アテンション重みの学習に基づいて特徴統合をガイドするエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプルの対照損失を緩和することで、マルチモーダルフェイクニュース検出における一般化性能が向上するか？
• RQ2 クロスマodal対照学習は、フェイクニュースにおける視覚的およびテキスト的特徴間の整合性をどのように向上させるか？
• RQ3 ITC、ITM、CMF、ATT、AGU の各コンポーネントが、モデル全体の性能に果たす寄与度は何か？
• RQ4 アテンション誘導型統合メカニズムは、解釈可能性と検出精度をどのように向上させるか？
• RQ5 提案されたフレームワークは、TwitterやWeiboのような多様なソーシャルメディアデータセットで最先端の結果を達成できるか？

主な発見

• COOLANT は Twitter データセットで 0.901 の F1 スコアを達成し、新たな最先端の性能を記録した。
• Weibo データセットでは F1 スコア 0.920 を達成し、より大規模で複雑なデータセットでも優れた性能を示した。
• アブレーションスタディの結果、ITC損失を削除すると性能低下が最も顕著に現れ、その整合性向上における中心的役割が裏付けられた。
• ITM（一貫性学習）タスクを欠落させたバージョンは Twitter において顕著に性能が低下し、ソフトターゲットがイベント関連データからのノイズを緩和する効果があることが示された。
• t-SNE ビジュアライゼーションにより、COOLANT がアブレーションバージョンよりもより判別力があり、明確に分離された特徴表現を学習していることが確認された。
• アテンション誘導型統合メカニズムは、ATT および AGU コンポーネントを保持した場合に性能が向上することから、特徴統合の改善に顕著な寄与をしていることが示された。