[論文レビュー] Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection

Liesbeth Allein, Marie‐Francine Moens+1 more|arXiv (Cornell University)|Aug 31, 2021

Misinformation and Its Impacts被引用数 9

ひとこと要約

本稿では、ニュース記事の表現とユーザーが生成したコンテンツ（ツイート、プロフィール記述）の間の相関を強制することで、フェイクニュース検出を向上させるマルチモーダル学習フレームワークを提案する。トレーニング中に記事-ユーザーおよびユーザー-ユーザーの潜在表現に関する連携制約を最適化することで、推論時にユーザーデータを必要とせずにモデルパラメータを最適化し、フェイクニュースと本物のニュースの特徴の識別性を向上させる。本手法は、複数の分類器およびデータセットで最先端の性能を達成するとともに、プライバシー倫理を尊重する。

ABSTRACT

User-generated content (e.g., tweets and profile descriptions) and shared content between users (e.g., news articles) reflect a user's online identity. This paper investigates whether correlations between user-generated and user-shared content can be leveraged for detecting disinformation in online news articles. We develop a multimodal learning algorithm for disinformation detection. The latent representations of news articles and user-generated content allow that during training the model is guided by the profile of users who prefer content similar to the news article that is evaluated, and this effect is reinforced if that content is shared among different users. By only leveraging user information during model optimization, the model does not rely on user profiling when predicting an article's veracity. The algorithm is successfully applied to three widely used neural classifiers, and results are obtained on different datasets. Visualization techniques show that the proposed model learns feature representations of unseen news articles that better discriminate between fake and real news texts.

研究の動機と目的

• ユーザーが生成したコンテンツと共有されたニュース記事との間の相関が、フェイクニュース検出を改善できるかどうかを調査すること。
• テスト時におけるユーザーのプロファイリングに依存せずに、記事とユーザーの間の潜在空間制約を強制するマルチモーダル学習アルゴリズムを開発すること。
• ユーザーのプロファイリングを避けることで、倫理的なAI原則を尊重するとともに、ユーザー行動パターンを活用してモデルの一般化性能を向上させること。
• 複数のニューラル分類器およびデータセットにおいて、ユーザー関連の制約がモデル性能および表現品質に与える影響を評価すること。
• ユーザー制約が記事表現学習に与える影響を分析する統計的に堅牢な手法を提供すること。

提案手法

• モデルは3つの共同トレーニング目的を用いる：(1) 記事の真偽を分類する、(2) 記事とユーザーの潜在表現間のコサイン距離を最小化する、(3) 同じ記事を共有したユーザー間の潜在表現間のコサイン距離を最小化する。
• ユーザー表現は、ツイートとプロフィール記述から得られ、記事とは別個または共有のエンコーダーを用いて独立に符号化される。
• 本手法は、CNN、HAN、DistilBERTの3つのニューラル分類器に適用可能であり、最適化中に損失関数を介してユーザー制約を統合する。
• ユーザーデータはトレーニング時のみに使用され、推論時にはユーザー情報が一切不要であり、倫理的なAIガイドラインに準拠している。
• 本手法は、記事とユーザーのモダリティを共有の潜在空間に整合させる制約付き表現学習を採用し、フェイクニュースと本物のニュースの識別性を向上させる。
• 可視化と統計的分析を用いて、学習された表現がフェイクニュースと本物のニュースをより明確に分離していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが生成したコンテンツと共有されたニュース記事との相関が、フェイクニュース検出性能を向上させられるか？
• RQ2 記事-ユーザーおよびユーザー-ユーザーのマルチモーダル相関を強制することで、学習された記事表現の品質はどのように変化するか？
• RQ3 ユーザーのデータをトレーニング時に活用しても、推論時にそれを必要としない場合、モデルはどの程度その恩恵を受けるか？
• RQ4 実際にユーザー-記事相関が歪められた場合でも、ユーザー関連の制約が適用されたモデルは、一般化性能を向上させられるか？
• RQ5 ユーザーが生成したコンテンツ（例：ツイート）のノイズが、モデルの予測にどのような影響を及えるか？

主な発見

• 提案手法は、FakeNewsNetおよびReCOVeryデータセットにおいて、CNN、HAN、DistilBERTの全テスト分類器でフェイクニュース検出性能を顕著に向上させた。
• ユーザー-記事およびユーザー-ユーザーの相関がランダムに歪められても、ユーザー制約付きモデルはベースラインモデルを上回る性能を示し、汚染されたり誤った相関に依存しても依然として頑健であることが示された。
• 可視化結果から、モデルが記事の潜在空間においてフェイクニュースと本物のニュースをより識別しやすい特徴表現を学習していることが確認された。
• HAN +u/dモデル（プロフィール記述のみを用いる）は、HAN +u/d+t（ツイートと記述の両方を用いる）を上回る性能を示し、ノイズの多いツイートコンテンツが性能を低下させる可能性があることを示唆している。
• トレーニング中にマルチモーダル相関を強制したことで、より良い一般化性能とF1スコアが得られ、特にフェイククラスにおいて顕著な向上が見られた。
• 制約の統計的分析から、推論時にユーザーデータがなくても、ユーザー関連の損失が記事表現学習に測定可能で肯定的な影響を与えていることが確認された。