[論文レビュー] Multimodal Fake News Detection via CLIP-Guided Learning

Yangming Zhou, Qichao Ying+3 more|arXiv (Cornell University)|May 28, 2022

Misinformation and Its Impacts被引用数 6

ひとこと要約

本稿では、CLIP誘導型特徴学習とモダリティ別アテンションを活用してテキストと画像表現の統合を向上させる、マルチモーダル偽ニュース検出フレームワークFND-CLIPを提案する。CLIPが生成するクロスモダリティ類似度とBERT/ResNet特徴を統合することで、Weibo、Politifact、GossipCopでそれぞれ0.7%、6.8%、1.3%の精度向上を達成し、最先端性能を実現した。

ABSTRACT

Multimodal fake news detection has attracted many research interests in social forensics. Many existing approaches introduce tailored attention mechanisms to guide the fusion of unimodal features. However, how the similarity of these features is calculated and how it will affect the decision-making process in FND are still open questions. Besides, the potential of pretrained multi-modal feature learning models in fake news detection has not been well exploited. This paper proposes a FND-CLIP framework, i.e., a multimodal Fake News Detection network based on Contrastive Language-Image Pretraining (CLIP). Given a targeted multimodal news, we extract the deep representations from the image and text using a ResNet-based encoder, a BERT-based encoder and two pair-wise CLIP encoders. The multimodal feature is a concatenation of the CLIP-generated features weighted by the standardized cross-modal similarity of the two modalities. The extracted features are further processed for redundancy reduction before feeding them into the final classifier. We introduce a modality-wise attention module to adaptively reweight and aggregate the features. We have conducted extensive experiments on typical fake news datasets. The results indicate that the proposed framework has a better capability in mining crucial features for fake news detection. The proposed FND-CLIP can achieve better performances than previous works, i.e., 0.7\%, 6.8\% and 1.3\% improvements in overall accuracy on Weibo, Politifact and Gossipcop, respectively. Besides, we justify that CLIP-based learning can allow better flexibility on multimodal feature selection.

研究の動機と目的

• ブラックボックスなアテンション統合に依存する既存のマルチモーダル偽ニュース検出（FND）手法における解釈可能性とメカニズムの透明性の欠如に対処する。
• テキストと画像特徴の対応的・対照的学習を可能にするCLIPの表現力を利用し、特徴の質と関連性を向上させる。
• 各モダリティの特徴の識別的寄与に基づいて動的に重みを再設定するモダリティ別アテンション機構を導入することで、マルチモーダル統合における冗長性とノイズを低減する。
• CLIPベースの特徴学習が、偽ニュース検出に不可欠な特徴の選択において、より高い柔軟性と一般化能力を実現できることを示す。
• 標準ベンチマーク上でフレームワークを評価し、現実世界のFNDシナリオにおける単モダリティおよびマルチモーダルベースラインより優れた性能を実証する。

提案手法

• ResNetベースのエンコーダーを用いて画像から深層表現を抽出し、BERTベースのエンコーダーを用いてテキストから深層表現を抽出する。
• 2つのペアワイズCLIPエンコーダーを活用して、テキストと画像モダリティ間の対照的・対応的特徴を生成する。
• マルチモーダル統合中にCLIPが生成する特徴の重み付けに用いるために、標準化されたクロスモダリティ類似度を計算する。
• 重み付けされたCLIP特徴を、単モダリティ特徴（テキストおよび画像）と連結し、モダリティ別アテンションモジュールを適用して特徴を動的に再重み付けおよび集約する。
• 分類器に最終的な統合特徴を入力する前に、冗長性低減技術を適用して識別的パワーを強化する。
• 交差エントロピー損失を用いてエンドツーエンドのネットワークを訓練し、偽ニュース分類を最適化する。

Figure 1 . Examples of fake news detection using FND-CLIP.The three attention scores of each news are text score, image score, and fusion score respectively.

実験結果

リサーチクエスチョン

• RQ1 CLIP誘導型特徴学習は、偽ニュース検出におけるマルチモーダル表現の質と整合性をどのように向上させるか？
• RQ2 モダリティ別アテンションは、関連する特徴を適応的に選択しノイズを抑圧することで、特徴統合をどの程度向上させるか？
• RQ3 CLIPベースの特徴は、従来の単モダリティ特徴（例：BERTおよびResNet）を上回るか、あるいは補完的に機能するか？
• RQ4 本稿で提案するフレームワークは、多様なデータセットにおいて、精度および頑健性の観点で最先端手法と比較してどの程度優れているか？
• RQ5 各モダリティ（テキスト、画像、統合）が最終分類にどの程度寄与しているか、また意思決定プロセスにおける相互作用はいかなるものか？

主な発見

• FND-CLIPは、Weibo、Politifact、GossipCopデータセットでそれぞれ0.7%、6.8%、1.3%の絶対的な精度向上を達成し、最先端性能を実現した。
• 画像のみのブランチは性能が低く、特にGossipCopでは偽ニュースのF1スコアがほぼゼロに近いことから、視覚的特徴のみでは識別的パワーに欠けることが示された。
• CLIPを除いたマルチモーダルのみの設定では、Weibo、Politifact、GossipCopでそれぞれ81.7%、90.3%、86.2%の精度を達成したが、WeiboおよびGossipCopではテキストのみのブランチを下回っており、生の統合の有効性が限定的であることが示唆された。
• テキストのみのブランチが2番目の最高性能を達成しており、テキストの手がかりが非常に有用であることを確認したが、FND-CLIPは補完的な視覚的およびCLIP強化特徴を統合することで、それを上回った。
• t-SNE可視化では、CAFEおよびアブレーションモデルと比較して、FND-CLIPがより分離可能で識別的な特徴表現を生成しており、明確なクラス境界が得られていることがわかった。
• アブレーションスタディにより、CLIP誘導型特徴学習およびモダリティ別アテンションの両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。

Figure 2 . The architecture of the proposed FND-CLIP method. CLIP, BERT, and ResNet are used to extract the features of different modalities of multimodal news. Encoded features of different levels are obtained through projection heads. CLIP similarity score is calculated to determine the importance