[論文レビュー] Cross-Lingual Cross-Platform Rumor Verification Pivoting on Multimedia Content

Weiming Wen, Songwen Su+1 more|arXiv (Cornell University)|Aug 14, 2018

Misinformation and Its Impacts参考文献 17被引用数 3

ひとこと要約

本稿では、GoogleとBaiduからの外部ウェブコンテンツを活用して、マルチメディアのフェイクニュースを、フェイクニュースと外部ニュースの意味的類似度を測ることで検証する、クロスリンガルでクロスプラットフォームなフェイクニュース検証フレームワークを提案する。クロスリンガル・クロスプラットフォーム特徴量を導入することで、MediaEval 2015 VMUデータセットで最先端の性能を達成し、低リソース言語のフェイクニュース検証タスクにおいても顕著にベースラインを上回る強力な転移学習能力を示した。

ABSTRACT

With the increasing popularity of smart devices, rumors with multimedia content become more and more common on social networks. The multimedia information usually makes rumors look more convincing. Therefore, finding an automatic approach to verify rumors with multimedia content is a pressing task. Previous rumor verification research only utilizes multimedia as input features. We propose not to use the multimedia content but to find external information in other news platforms pivoting on it. We introduce a new features set, cross-lingual cross-platform features that leverage the semantic similarity between the rumors and the external information. When implemented, machine learning methods utilizing such features achieved the state-of-the-art rumor verification results.

研究の動機と目的

• フェイクニュースにマルチメディアコンテンツが使用されており、それが事実の出来事に誤って関連付けられているという課題に対処すること。
• 画像フォレンジックスや直接的な画像特徴量に依存する既存手法の限界を克服すること。これらはマルチメディアが本物ではあるが文脈的に誤りである場合に失敗する。
• 異なる言語やソーシャルメディアプラットフォーム間で合意や意味的類似度を捉える、一般化可能なクロスリンガル・クロスプラットフォーム特徴量セットを構築すること。
• 英語などの高リソース言語から得た知識を転移させることで、低リソース言語における効果的なフェイクニュース検証を可能にすること。
• 画像ベースの検索を用いて、TwitterフェイクニュースデータセットにGoogleとBaiduのウェブページを追加することで、新たなデータセットCCMRを構築すること。

提案手法

• 本手法は、画像ベースの検索を用いて、TwitterフェイクニュースデータセットにGoogleとBaiduのウェブページを追加することで、新たなデータセットCCMRを構築する。
• フェイクニュースのテキストと異なる言語・プラットフォームの外部ウェブコンテンツ間の意味的類似度を計算する、クロスリンガル・クロスプラットフォーム特徴量を導入する。
• 事前学習済みの文埋め込みモデル（例：BERT）を用いて、フェイクニュースのテキストと外部ウェブページのコンテンツを埋め込み、クロスリンガルな意味的マッチングを可能にする。
• GoogleとBaiduの両方の特徴量を統合するニューラルネットワークモデル、Comboを訓練することで、単一プラットフォームのベースラインよりも堅牢性と性能が向上する。
• 転移学習を適用し、英語のフェイクニュース（Googleを用いて）でモデルを学習し、中国語のフェイクニュース（Baiduを用いて）でテストすることで、共有される意味的特徴を活用する。
• ドメイン内およびゼロショットのクロスリンガル設定の両方でF1スコアを評価することで、汎化性と転移可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 複数のプラットフォームや言語からの外部ウェブコンテンツは、マルチメディアフォレンジックスや直接的な画像特徴量に依存するのではなく、フェイクニュース検証を向上させることができるか？
• RQ2 異なるプラットフォームからの外部ニュースとフェイクニュース間の意味的類似度は、誤情報検出にどの程度有効か？
• RQ3 英語などの高リソース言語で学習した特徴量は、中国語などの低リソース言語におけるフェイクニュース検証に効果的に転移できるか？
• RQ4 複数言語・複数プラットフォームの情報源を統合することは、単一のプラットフォームや言語に比べてどの程度優れているか？
• RQ5 外部ウェブコンテンツの質や関連性（例：Baidu vs. Google）は、検証性能にどの程度影響を与えるか？

主な発見

• 提案されたクロスリンガル・クロスプラットフォーム特徴量は、MediaEval 2015 VMUデータセットで最先端の性能を達成し、既存手法を上回った。
• GoogleとBaiduの両方の特徴量を統合するComboモデルは、Baidu専用のTFBやGoogle専用のTFGを顕著に上回り、複数プラットフォーム情報の価値を実証した。
• 転移学習により、低リソース言語での効果的な検証が可能になった：中国語フェイクニュース（CCMR Baidu）における平均F1スコアは、ランダムベースラインの0.312から、転移モデルで0.531に向上した。
• イベント05（Bring Back Our Girls）では、転移モデルがF1スコア0.923を達成し、高インパクトフェイクニュースにおける強力な汎化能力を示した。
• 意味的乖離に対してもロバストであることが示された：Baiduのウェブページがサブトピックに焦点を当てていた場合でも、クロスリンガル特徴量により効果的な検証が可能だった。
• アノテーションの矛盾（例：イベント07（パスポートフェイク））は、クロスプラットフォーム・クロスリンガルな整合性が、人間によるアノテーションの不一致を解消するのを支援することがわかった。