[論文レビュー] Learn over Past, Evolve for Future: Forecasting Temporal Trends for Fake News Detection

Beizhe Hu, Qiang Sheng+5 more|arXiv (Cornell University)|Jun 26, 2023

Misinformation and Its ImpactsSocial Sciences被引用数 3

ひとこと要約

本稿では、時系列的変化を考慮したニュースデータのトピックレベルの時間的パターンをモデル化することで、将来のデータに対するフェイクニュース検出の一般化性能を向上させる、新しいフレームワークFTT（Forecasting Temporal Trends）を提案する。将来のトピック頻度を予測し、それに応じて学習インスタンスを再重み付けすることで、FTTは将来のデータにおけるモデル性能を向上させ、時系列的に分割されたデータセットにおいて、既存トピックおよび新規トピックの両方でベースラインを上回る性能を発揮する。

ABSTRACT

Fake news detection has been a critical task for maintaining the health of the online news ecosystem. However, very few existing works consider the temporal shift issue caused by the rapidly-evolving nature of news data in practice, resulting in significant performance degradation when training on past data and testing on future data. In this paper, we observe that the appearances of news events on the same topic may display discernible patterns over time, and posit that such patterns can assist in selecting training instances that could make the model adapt better to future data. Specifically, we design an effective framework FTT (Forecasting Temporal Trends), which could forecast the temporal distribution patterns of news data and then guide the detector to fast adapt to future distribution. Experiments on the real-world temporally split dataset demonstrate the superiority of our proposed framework. The code is available at https://github.com/ICTMCG/FTT-ACL23.

研究の動機と目的

• フェイクニュース検出における時間的シフトという重要な課題に対処すること。これは、過去のデータで学習したモデルが、ニュース分布の変化に伴い将来のデータで性能を低下させるためである。
• 減少、周期性、定常性といったトピックレベルの時間的パターンが、将来の一般化に向けたより良い学習データ選択を可能にするかを調査すること。
• トピックレベルでの時間的傾向を予測し、その予測結果を用いて学習インスタンスを再重み付けするフレームワークを開発すること。
• 訓練時にターゲットドメインデータにアクセスできない状況でも、未観測の将来データに効果的に適応できるようにすること。

提案手法

• フレームワークは、学習用ニュースアイテムをベクトル空間にマップし、クラスタリングを適用して潜在的なトピックを同定する。
• 履歴時系列データに基づき、各トピックの今後の時間的頻度トレンドを予測するための分解可能時間系列モデルを用いる。
• 予測されたトレンドを基に、学習インスタンスを動的に再重み付けする：予測される頻度の増加が見込まれるトピックからのインスタンスには高い重みを、減少が予測されるトピックからのインスタンスには低い重みを付与する。
• 再重み付けされた損失関数が、任意のニューラルネットワークベースのフェイクニュース検出器の学習を導き、将来のデータ分布への一般化性能を向上させる。
• 本手法は既存の検出器と互換性があり、アーキテクチャの変更を要しない。

実験結果

リサーチクエスチョン

• RQ1 周期性、減少、定常性といったトピックレベルの時間的パターンを、将来のフェイクニュース検出性能の向上に寄与する形で効果的にモデル化できるか？
• RQ2 将来のトピック頻度を予測することで、時間的シフト状況下におけるフェイクニュース検出器の一般化性能にどのような影響を与えるか？
• RQ3 時間的トレンド予測に基づくインスタンス再重み付けは、将来データでの性能低下をどの程度軽減できるか？
• RQ4 提案されたフレームワークは、将来の時間帯における既存トピックおよび新規に出現したトピックの両方で検出性能を向上させるか？

主な発見

• FTTは、時系列的に分割されたデータセットにおいて5つのベースライン手法を上回り、新規トピックではマクロF1が0.8846、既存トピックでは0.8843を達成した。
• フレームワークは既存トピックおよび新規トピックの両方で性能を向上させ、未観測トピックや変化する分布への一般化能力が向上していることを示している。
• 事例研究では、FTTが増加トレンド（例：Big Tech、Infectious Diseases）や複雑なパターン（例：Medication Safetyにおける「スマイルカーブ」）を的確に捉えており、かつて誤分類されていたインスタンスの予測を是正していることが確認された。
• 統計的分析により、再重み付け戦略が高頻度トピックに対するモデルの熟悉度を高め、新規トピックに対するロバストネスを向上させることの有効性が裏付けられた。
• モデルの性能向上は、正確なトピックレベル時間的トレンド予測に起因しており、より効果的な学習データ重み付けを可能にしている。