[論文レビュー] Leveraging Multi-Source Weak Social Supervision for Early Detection of Fake News

Kai Shu, Guo‐qing Zheng+5 more|arXiv (Cornell University)|Apr 3, 2020

Misinformation and Its Impacts被引用数 43

ひとこと要約

本論文は、MWSS（メタ学習フレームワーク）を提案する。限られたクリーンラベルと複数の弱いソーシャル監視信号を同時に活用して、予測時にソーシャル特徴を使わずに偽ニュースを早期検出する。

ABSTRACT

Social media has greatly enabled people to participate in online activities at an unprecedented rate. However, this unrestricted access also exacerbates the spread of misinformation and fake news online which might cause confusion and chaos unless being detected early for its mitigation. Given the rapidly evolving nature of news events and the limited amount of annotated data, state-of-the-art systems on fake news detection face challenges due to the lack of large numbers of annotated training instances that are hard to come by for early detection. In this work, we exploit multiple weak signals from different sources given by user and content engagements (referred to as weak social supervision), and their complementary utilities to detect fake news. We jointly leverage the limited amount of clean data along with weak signals from social engagements to train deep neural networks in a meta-learning framework to estimate the quality of different weak instances. Experiments on realworld datasets demonstrate that the proposed framework outperforms state-of-the-art baselines for early detection of fake news without using any user engagements at prediction time.

研究の動機と目的

• 注釈付きデータが限られている中で、早期の偽ニュース検出という課題に取り組む。
• ユーザーエンゲージメントからの複数の弱い社会的監視信号を活用する。
• 弱ラベルの品質/重みを推定するメタ学習フレームワークを開発する。
• クリーンな監視と弱い監視の双方から恩恵を受ける偽ニュース分類器を訓練する。
• 予測時にソーシャルコンテキストに依存せず高い性能を実現する。

提案手法

• 共有コンテンツエンコーダとクリーン信号および弱信号用のソース別予測ヘッドを備えた MWSS を導入する。
• インスタンス表現と弱ラベル埋め込みに基づいて弱ラベルに重みを割り当てる Label Weighting Network (LWN) を実装する。
• 外側ループが LWN を最適化してクリーンデータの検証性能を向上させるバイレベル最適化を定式化する。
• クリーンデータ損失と複数の弱源からの加重弱ラベル損失を結合したジョイント損失を使用する。
• メタパラメータ更新には1ステップの SGD近似を採用し、Adamで訓練する。
• 感情、バイアス、信頼性信号によってソーシャルエンゲージメントから弱ラベルを構築し、その品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 MWSS は複数の弱い社会監視ソースを活用することで偽ニュース分類を改善できるか？
• RQ2 異なる弱監視ソースが性能にどのように寄与するか、また MWSS は複数の弱信号に対してどれだけ頑健か？

主な発見

• GossipCopとPolitiFactを横断してクリーンデータと複数の弱源を組み合わせた場合、MWSSは強力なベースラインを上回る。
• 単一の弱源は複数源より効果が低く、MWSSはソース別のマッピングとLWNから利益を得る。
• 評価された手法の中で、L2RやSnorkelのベースラインを含め、MWSSは一貫して最も良い統計を達成する。
• RoBERTaベースのエンコーダは一般にCNNエンコーダより優れており、クリーン+弱データを使用してもMWSSがリードしている。
• 重み学習メカニズムはよりクリーンな信号に高い重要度を割り当て、弱源間で補完的な情報を示す。
• クリーンデータ対弱データの比率が高いほど、MWSSおよび他のベースラインの性能が向上する。