[論文レビュー] Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection

Jingyi Xie, Jiawei Liu+1 more|arXiv (Cornell University)|Jun 10, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿では、ユーザーのフィードバックコメントを活用して弱いラベルを生成・精錬する、ラベルノイズに強い平均テイチャー（LNMT）という新規な弱教師ありフェイクニュース検出手法を提案する。意味的・感情的相関モデリングと、ラベル伝搬および信頼性推定を組み合わせた平均テイチャー枠組みを統合することで、弱いラベルのノイズを顕著に低減し、実世界のデータセットにおいて最先端の性能を達成する。

ABSTRACT

Fake news spreads at an unprecedented speed, reaches global audiences and poses huge risks to users and communities. Most existing fake news detection algorithms focus on building supervised training models on a large amount of manually labeled data, which is expensive to acquire or often unavailable. In this work, we propose a novel label noise-resistant mean teaching approach (LNMT) for weakly supervised fake news detection. LNMT leverages unlabeled news and feedback comments of users to enlarge the amount of training data and facilitates model training by generating refined labels as weak supervision. Specifically, LNMT automatically assigns initial weak labels to unlabeled samples based on semantic correlation and emotional association between news content and the comments. Moreover, in order to suppress the noises in weak labels, LNMT establishes a mean teacher framework equipped with label propagation and label reliability estimation. The framework measures a weak label similarity matrix between the teacher and student networks, and propagates different valuable weak label information to refine the weak labels. Meanwhile, it exploits the consistency between the output class likelihood vectors of the two networks to evaluate the reliability of the weak labels and incorporates the reliability into model optimization to alleviate the negative effect of noisy weak labels. Extensive experiments show the superior performance of LNMT.

研究の動機と目的

• 教師あり学習における手動ラベル付きフェイクニュースデータの高コストおよび不足問題に対処すること。
• ユーザーのフィードバックコメントを弱教師ありの弱い監視源として活用することで、弱教師ありフェイクニュース検出を向上させること。
• ユーザーのフィードバックから生成されるノイズの多い弱いラベルがモデル性能に与える悪影響を軽減すること。
• 平均テイチャー枠組みにおけるラベル伝搬および信頼性推定の統合により、モデルのロバスト性を向上させること。

提案手法

• 本手法は、ニュースコンテンツとユーザーのコメントの間の意味的相関および感情的関連性を測定することで、ベースラインモデルを用いて未ラベル付きニュースに初期の弱いラベルを自動割り当てる。
• 同じアーキテクチャを持つ教師・生徒ネットワークを用いた平均テイチャー枠組みを採用し、異なる学習率で訓練することで情報のやり取りを可能にする。
• ラベル伝搬を適用し、弱いラベル予測の類似性に基づいて、教師ネットワークから生徒ネットワークへ精錬されたラベル情報を転送する。
• ラベル信頼性推定は、教師と生徒ネットワーク間の予測の一貫性を評価し、最適化の過程で信頼性の低い弱いラベルに低い重みを割り当てる。
• フレームワークは、ラベル付きデータと精錬された弱いラベルの両方を用いて生徒ネットワークを共同最適化し、信頼性を考慮した損失関数によりノイズの多いサンプルを抑制する。
• ベースラインモデルは、感情に配慮したエンコーダーを組み込み、ユーザーのフィードバックに内在する感情的関連性を捉えることで特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのフィードバックコメントは、フェイクニュース検出のための信頼性の高い弱いラベルを効果的に生成するために活用可能か？
• RQ2 深層学習フレームワークを用いて、弱教師ありフェイクニュース検出におけるラベルノイズをどのように軽減できるか？
• RQ3 意味的および感情的相関の統合は、弱いラベルの品質をどの程度向上させるか？
• RQ4 ラベル伝搬および信頼性推定を組み合わせた平均テイチャー枠組みは、既存の弱教師あり手法を上回る性能を示すか？

主な発見

• WeChatデータセットにおいて、すべての設定（教師あり、半教師あり、弱教師あり）で、LNMTはAccuracy、AUC-ROC、Precision、Recall、F1の全指標で最高の性能を達成した。
• 弱教師あり設定では、2番目に優れた手法WeFENDよりも、Accuracyで2.7%、AUC-ROCで2.8%の向上を達成した。
• アブレーションスタディの結果、感情に配慮したエンコーダーを削除すると、Accuracyが1.3%、AUC-ROCが1.2%低下し、特徴表現の質向上に寄与していることが確認された。
• ラベル伝搬を導入することで、ベースラインの平均テイチャー（ラベル伝搬なし）と比較して、Accuracyが1.3%、AUC-ROCが1.4%向上した。
• ラベル信頼性推定を導入することで、さらにAccuracyが1.8%、AUC-ROCが1.7%向上し、ノイズの多いラベルの抑制効果が明確に示された。
• 半教師ありバージョンのLNMTは、2番目に優れた手法（CNN+Semi）よりも、Accuracyで4.2%、AUC-ROCで0.3%の向上を達成した。