[論文レビュー] Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection

Nguyễn Mạnh Tuấn, Phạm Quang Minh|arXiv (Cornell University)|Apr 23, 2021

Misinformation and Its Impacts被引用数 4

ひとこと要約

本稿では、BERTweetから得られる文脈的特徴とVGG-19から抽出された視覚的特徴を、新たなスケーリングドット積分注意メカニズムを用いて統合するマルチモーダルフェイクニュース検出モデルを提案する。この手法は、MediaEval 2016データセットで81.2%の正確性と80.8%のF1スコアを達成し、最先端手法よりも正確性で3.1%、マクロ-F1で4.4%優れている。

ABSTRACT

Fake news detection is an important task for increasing the credibility of information on the media since fake news is constantly spreading on social media every day and it is a very serious concern in our society. Fake news is usually created by manipulating images, texts, and videos. In this paper, we present a novel method for detecting fake news by fusing multimodal features derived from textual and visual data. Specifically, we used a pre-trained BERT model to learn text features and a VGG-19 model pre-trained on the ImageNet dataset to extract image features. We proposed a scale-dot product attention mechanism to capture the relationship between text features and visual features. Experimental results showed that our approach performs better than the current state-of-the-art method on a public Twitter dataset by 3.1% accuracy.

研究の動機と目的

• ソーシャルメディアを通じたフェイクニュースの拡散という増大する社会的脅威に対処し、マルチモーダルデータを用いて検出の正確性を向上させる。
• フェイクニュースにおける補完的信号を捉えるために、文書的および視覚的特徴を統合することで、単一モーダル手法の限界を克服する。
• テキストと画像の間のクロスモーダル依存関係をモデル化するため、新たなスケーリングドット積分注意メカニズムを導入して特徴統合を強化する。
• ツイートのドメイン特化事前学習を活用することで、一般ドメインのBERTモデルと比較してBERTweetがソーシャルメディア文書に優れていることを実証する。
• 注目メカニズムがフェイクニュースにおけるテキストと画像の内容の不一致を特定する有効性を検証する。

提案手法

• 850M件の英語ツイートで微調整されたBERTweet（BERTの変種）を用い、文脈的な文書埋め込みをテキストコンテンツから抽出する。
• ImageNetで微調整された事前学習済みのVGG-19モデルから、高レベルの画像表現を抽出する。
• テキスト的特徴と視覚的特徴の間で動的注目重みを計算するスケーリングドット積分注意メカニズムを実装し、適応的統合を可能にする。
• 画像特徴に自己注意を適用して、内部的な空間的関係をモデル化し、視覚的表現学習を向上させる。
• クロスモーダル注意の出力と自己注意の出力を、元のテキスト的および視覚的特徴と連結し、最終分類用に準備する。
• 統合された特徴表現を全結合層に通した後、シグモイド活性化関数を適用して二値フェイクニュース分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのテキスト特徴とVGG-19ベースの画像特徴を組み合わせたマルチモーダルアプローチは、単一モーダルモデルと比較してフェイクニュース検出の正確性を向上させることができるか？
• RQ2 新たなスケーリングドット積分注意メカニズムは、フェイクニュースにおけるテキストと画像のコンテンツ間のクロスモーダル依存関係を効果的に捉えられるか？
• RQ3 ソーシャルメディアデータで事前学習されたBERTweetは、一般ドメインのBERTモデルと比較して、Twitterデータセットにおけるフェイクニュース検出で優れているか？
• RQ4 注目ヒートマップは、フェイクニュースにおけるテキストと画像の内容の不一致をどの程度明らかにできるか？また、これらの不一致は検出性能と定量的に関連づけられるか？
• RQ5 画像特徴に自己注意を適用することで、フェイクニュースにおける画像の改ざんや誤解を招く表現の検出能力が向上するか？

主な発見

• 提案モデルはMediaEval 2016データセットで81.2%の正確性と80.8%のF1スコアを達成し、以前の最先端手法（Spotfake）を正確性で3.1%、マクロ-F1で4.4%上回った。
• BERTweetは、同じデータセットでBERT baseおよびBERT largeを上回り、81.2%の正確性を達成した。これは、ソーシャルメディアテキストにおけるドメイン特化事前学習の利点を示している。
• 注目ヒートマップは視覚的に、フェイクニュースの画像では領域間の注目相関が低く、改ざんや関係のない画像・テキストペアリングを示しているのに対し、本物のニュースでは一貫性のあるクロスモーダル注目パターンを示した。
• モデルの自己注意機構により、画像の空間的関係が適切に捉えられ、改ざんされていないが文脈的に誤解を招く画像の検出が向上した。
• アブレーションスタディにより、クロスモーダル注目と自己注意の組み合わせが性能を顕著に向上させたことが確認され、完全モデルはEANN、MVAE、att-RNNを含むすべてのベースラインを上回った。
• フェイクニュースでは精度84.3%、再現率81.0%、F1スコア76.7%を達成し、誤ったコンテンツを識別する上で強力な汎化性と耐性を示した。