[論文レビュー] The Rise of Guardians: Fact-checking URL Recommendation to Combat Fake News

Nguyen Vo, Kyumin Lee|arXiv (Cornell University)|Jun 20, 2018

Misinformation and Its Impacts参考文献 57被引用数 31

ひとこと要約

本稿では、誤情報の是正を積極的に行うユーザー（いわゆる「ガーディアン」）の関与を高めるために、新しい事実確認URL推薦モデルであるGAU（Guardian-Aware Utility）を提案する。GAUは、ソーシャルネットワーク構造、URLコンテンツ、最近のツイート活動を活用し、4つの最先端モデルを11%から33%上回る性能を示した。これにより、信頼できる情報の拡散が顕著に促進され、フェイクニュース対策に貢献した。

ABSTRACT

A large body of research work and efforts have been focused on detecting fake news and building online fact-check systems in order to debunk fake news as soon as possible. Despite the existence of these systems, fake news is still wildly shared by online users. It indicates that these systems may not be fully utilized. After detecting fake news, what is the next step to stop people from sharing it? How can we improve the utilization of these fact-check systems? To fill this gap, in this paper, we (i) collect and analyze online users called guardians, who correct misinformation and fake news in online discussions by referring fact-checking URLs; and (ii) propose a novel fact-checking URL recommendation model to encourage the guardians to engage more in fact-checking activities. We found that the guardians usually took less than one day to reply to claims in online conversations and took another day to spread verified information to hundreds of millions of followers. Our proposed recommendation model outperformed four state-of-the-art models by 11%~33%. Our source code and dataset are available at https://github.com/nguyenvo09/CombatingFakeNews.

研究の動機と目的

• ソーシャルメディアの議論において、事実確認URLを共有することで誤情報に是正を加えるオンラインユーザー（「ガーディアン」）を特定・分析すること。
• 利用可能であるにもかかわらず、既存の事実確認システムが十分に活用されていない問題に対処すること。
• ガーディアンがより頻繁かつ効果的に検証済みURLを共有するよう促す、パーソナライズされた推薦モデルを開発すること。
• すでに信頼性検証に関心を示すアクティブユーザーに焦点を当てることで、事実確認活動のスケーラビリティと影響力を高めること。

提案手法

• 著者らは、誤りを主張する投稿に対して直接投稿またはリツイートした事実確認URLを共有したガーディアンのデータセットを収集・分析した。
• GAUモデルを導入し、3つの補助信号（ソーシャルネットワーク構造、事実確認URLの内容、ガーディアンの最近のツイート活動）を統合した。
• GAUは、学習可能なハイパーパrameter α, β, γ を用いて、これらの信号の重み付き組み合わせを実現し、URL推薦をパーソナライズ化している。
• モデルは、順序付けのためのペairワイズランキング損失とネガティブサンプリングを用いて学習され、推薦の関連性と多様性を最適化する。
• 行列分解に補助特徴を組み合わせ、共同フィルタリングに文脈的・社会的特徴を強化することで、ガーディアンごとのURLの有用性を予測する。
• ハイパーパrameterチューニングは、再現率、NDCG、MAPの指標で性能を最大化するためのグリッドサーチを用いて実施した。

実験結果

リサーチクエスチョン

• RQ1 誤情報に是正を加えるために事実確認URLを共有するユーザー（ガーディアン）は、オンライン議論においてどのように行動するか？
• RQ2 パーソナライズされた推薦モデルは、ガーディアンがより多くの検証済みURLを共有するよう効果的に刺激できるか？
• RQ3 ソーシャルネットワーク構造、URLコンテンツ、ユーザ行動を統合することで、事実確認URL推薦の性能はどのように向上するか？
• RQ4 本モデルは、活動レベルが異なるガーディアン（コールドスタート、ウォームスタート、高活動）に一般化可能か？
• RQ5 モデルの性能は、ハイパーパrameter α, β, γ の選択にどれほど敏感か？

主な発見

• GAUモデルは、4つの最先端ベースライン（MF, CoFactor, BPRMF, CTR）を、すべての評価指標で11%から33%上回った。
• GAUはMAP 32.6%±3.4%を達成し、CoFactorのNDCG 29.2%±5.8%とMAP 32.6%±3.4%を顕著に上回った（p値 < 0.001）。
• コールドスタートのガーディアンでは、CTRと比較してRecall@15が6.5%向上、NDCG@15が10.2%向上、MAP@15が12.8%向上した。
• 高活動なガーディアンでは、Recall@15が最大10.0%、NDCG@15が最大15.0%、MAP@15が最大20.1%向上した。
• 最適なハイパーパrameterは α=0.06, β=0.08, γ=0.06 であり、これらの値で性能がピークに達した。
• モデルは、すべてのガーディアン活動レベルで一貫した改善を示し、堅牢性と一般化能力を示した。