[論文レビュー] Multi-modal Fusion using Fine-tuned Self-attention and Transfer Learning for Veracity Analysis of Web Information

Priyanka Meel, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Sep 26, 2021

Misinformation and Its Impacts被引用数 4

ひとこと要約

本稿では、微調整された BERT/ALBERT および Inception-ResNet-v2 モデルを用いた早期および後期の特徴統合戦略により、テキストおよび視覚的特徴を統合するマルチモーダル真正性分析フレームワークを提案する。このフレームワークは、多様な3つのデータセット（All Data、Weibo、MediaEval 2016）で最先端の性能を達成し、言語やモダリティを越えてフェイクニュースを検出するための転移学習と自己注意機構の有効性を示している。

ABSTRACT

The nuisance of misinformation and fake news has escalated many folds since the advent of online social networks. Human consciousness and decision-making capabilities are negatively influenced by manipulated, fabricated, biased or unverified news posts. Therefore, there is a high demand for designing veracity analysis systems to detect fake information contents in multiple data modalities. In an attempt to find a sophisticated solution to this critical issue, we proposed an architecture to consider both the textual and visual attributes of the data. After the data pre-processing is done, text and image features are extracted from the training data using separate deep learning models. Feature extraction from text is done using BERT and ALBERT language models that leverage the benefits of bidirectional training of transformers using a deep self-attention mechanism. The Inception-ResNet-v2 deep neural network model is employed for image data to perform the task. The proposed framework focused on two independent multi-modal fusion architectures of BERT and Inception-ResNet-v2 as well as ALBERT and Inception-ResNet-v2. Multi-modal fusion of textual and visual branches is extensively experimented and analysed using concatenation of feature vectors and weighted averaging of probabilities named as Early Fusion and Late Fusion respectively. Three publicly available broadly accepted datasets All Data, Weibo and MediaEval 2016 that incorporates English news articles, Chinese news articles, and Tweets correspondingly are used so that our designed framework's outcomes can be properly tested and compared with previous notable work in the domain.

研究の動機と目的

• オンラインソーシャルネットワークにおける誤情報およびフェイクニュースの増加する課題に対処すること。
• 多様なウェブソースからのテキストおよび視覚的コンテンツを処理できる耐障害性のある真正性分析システムを設計すること。
• クロスリンガルおよびマルチモーダルデータセットにおいて、早期および後期の統合戦略を含むマルチモーダル統合戦略の有効性を評価すること。
• 転移学習および自己注意メカニズムを活用して、フェイクニュース検出のための特徴表現を向上させること。

提案手法

• テキスト特徴は、文脈的表現を実現するための深層自己注意メカニズムを活用した微調整済み BERT および ALBERT モデルを用いて抽出される。
• 視覚的特徴は、ImageNet で事前学習された Inception-ResNet-v2 モデルを用いて、頑健な画像表現を取得する。
• 早期統合は、分類の前にテキストおよび画像ブランチの最終特徴ベクトルを連結することで実現される。
• 後期統合は、個別のテキストおよび画像分類器からの予測確率を重み付き平均化することで実現される。
• フレームワークは、英語の All Data、中国語の Weibo、ツイートの MediaEval 2016 の3つの公開データセットで評価され、多言語への一般化を確保する。
• テキストおよび画像エンコーダーの両方に対して転移学習が適用され、リソースが限られたデータやドメイン固有のデータでも性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータモダリティにおいて、早期および後期の統合戦略を用いたマルチモーダル統合は、フェイクニュース検出にどの程度有効であるか？
• RQ2 微調整された BERT および ALBERT モデルは、深層畳み込みネットワークからの視覚的特徴と組み合わせることで、真正性検出をどの程度向上できるか？
• RQ3 提案されたフレームワークは、言語やコンテンツタイプが異なる多様で現実的なデータセットにおいて、どの程度の性能を示すか？
• RQ4 ウェブコンテンツにおける誤情報検出において、テキスト的特徴と視覚的特徴の相対的寄与度は何か？
• RQ5 転移学習は、リソースが限られたまたはノイズの多いソーシャルメディアデータにおいて、マルチモーダル真正性分析システムの性能を向上させるか？

主な発見

• 提案されたフレームワークは、All Data、Weibo、MediaEval 2016 データセットで最先端の性能を達成し、マルチモーダルフェイクニュース検出分野における従来手法を上回っている。
• 確率の重み付き平均化を用いた後期統合は、3つのデータセットすべてにおいて早期統合よりも一貫して高い精度を示している。
• 微調整済み BERT および ALBERT モデルは、フェイクニュースにおいて微妙な言語的手がかりを捉えるのに顕著に寄与し、テキスト表現を向上させている。
• Inception-ResNet-v2 は、頑健な視覚的特徴抽出を可能にし、テキストコンテンツが少なくまたは誤解を招く場合でも、効果的な検出を実現している。
• 転移学習と自己注意メカニズムの統合により、言語やデータタイプを越えて一般化性能が向上している。
• 特に中国語の Weibo データセットにおいて、リソースが限られた環境や多言語環境でも優れた性能を示している。