[論文レビュー] Exploiting Multi-domain Visual Information for Fake News Detection

Peng Qi, Juan Cao+3 more|arXiv (Cornell University)|Aug 13, 2019

Misinformation and Its Impacts参考文献 33被引用数 33

ひとこと要約

MVNNは周波数領域CNNと多分岐ピクセル領域CNN-RNN、および注意機構を統合して偽情報画像を検出し、実世界データセットで84.6%の精度を達成し、ベースラインを上回る。

ABSTRACT

The increasing popularity of social media promotes the proliferation of fake news. With the development of multimedia technology, fake news attempts to utilize multimedia contents with images or videos to attract and mislead readers for rapid dissemination, which makes visual contents an important part of fake news. Fake-news images, images attached in fake news posts,include not only fake images which are maliciously tampered but also real images which are wrongly used to represent irrelevant events. Hence, how to fully exploit the inherent characteristics of fake-news images is an important but challenging problem for fake news detection. In the real world, fake-news images may have significantly different characteristics from real-news images at both physical and semantic levels, which can be clearly reflected in the frequency and pixel domain, respectively. Therefore, we propose a novel framework Multi-domain Visual Neural Network (MVNN) to fuse the visual information of frequency and pixel domains for detecting fake news. Specifically, we design a CNN-based network to automatically capture the complex patterns of fake-news images in the frequency domain; and utilize a multi-branch CNN-RNN model to extract visual features from different semantic levels in the pixel domain. An attention mechanism is utilized to fuse the feature representations of frequency and pixel domains dynamically. Extensive experiments conducted on a real-world dataset demonstrate that MVNN outperforms existing methods with at least 9.2% in accuracy, and can help improve the performance of multimodal fake news detection by over 5.2%.

研究の動機と目的

• テキストやソーシャルコンテキスト以外の視覚コンテンツを偽ニュース検出に活用する必要性を動機づける。
• 偽ニュース画像の物理的および意味的特徴を捉える多領域ビジュアルフレームワーク（MVNN）を提案する。
• 周波数領域特徴とピクセル領域特徴を統合することで検出性能が向上することを示す。
• 実世界データセットでMVNNを検証し、ベースラインと比較する。

提案手法

• ブロックDCTを用いて画像を周波数領域へ変換し、物理的な改ざん/再圧縮パターンを捉えるCNNを適用する。
• ピクセル領域でマルチブランチCNN-RNN（Bi-GRU）を用いて画像から多層の意味特徴を抽出する。
• 周波数特徴とピクセル特徴を注意機構で融合して、最終的な偽ニュース対実ニュースの分類を行う。
• 交差エントロピー損失でエンドツーエンド訓練を行い、ドロップアウト、バッチ正規化、Adam最適化を使用する。
• Weibo偽ニュースデータセットで精度、適合率、再現率、F1で評価する。

実験結果

リサーチクエスチョン

• RQ1 MVNNは視覚モダリティのみで偽ニュース検出を改善できるか？
• RQ2 周波数領域成分とピクセル領域成分、および注意機構とアーキテクチャの選択がMVNNの性能にどう影響するか？
• RQ3 テキストと組み合わせた場合にMVNNはマルチモーダル偽ニュース検出を強化できるか？
• RQ4 各ドメインおよびネットワーク構成要素が全体性能にどのように寄与するか？

主な発見

• MVNNは単一視覚モダリティの偽ニュース検出で84.6%の精度を達成し、ベースラインを少なくとも9.2%上回る。
• ピクセル領域特徴は周波数領域特徴より寄与が大きく、周波数は補助的な利点を提供する。
• 注意機構の融合、Bi-GRU、およびピクセル領域サブネットワークの複数ブランチが性能を著しく向上させる。
• アブレーションにより周波数/ピクセル領域を除去すると精度がそれぞれ0.794/0.737に低下し、注意機構、Bi-GRU、ブランチを除去しても結果が劣化する。
• MVNNが学習する視覚特徴空間は、どちらのドメイン単独より偽画像と実画像の区分が明確である。