[論文レビュー] Two-path Deep Semi-supervised Learning for Timely Fake News Detection

Xishuang Dong, Uboho Victor+1 more|arXiv (Cornell University)|Jan 31, 2020

Misinformation and Its Impacts参考文献 41被引用数 5

ひとこと要約

本稿では、共有かつ並列な畳み込みニューラルネットワーク（CNN）を介して教師あり学習と教師なし学習を共同最適化することで、最小限のラベル付きデータでタイムリーなフェイクニュース検出を可能にする二パス型の深層半教師付き学習フレームワークを提案する。モデルはLIARおよびPHEMEデータセットにおいて、1%のラベル付きデータすらも用いて優れた性能を発揮し、リアルタイム検出に大規模なラベルなしソーシャルメディアテキストを活用する有効性を示している。

ABSTRACT

News in social media such as Twitter has been generated in high volume and speed. However, very few of them are labeled (as fake or true news) by professionals in near real time. In order to achieve timely detection of fake news in social media, a novel framework of two-path deep semi-supervised learning is proposed where one path is for supervised learning and the other is for unsupervised learning. The supervised learning path learns on the limited amount of labeled data while the unsupervised learning path is able to learn on a huge amount of unlabeled data. Furthermore, these two paths implemented with convolutional neural networks (CNN) are jointly optimized to complete semi-supervised learning. In addition, we build a shared CNN to extract the low level features on both labeled data and unlabeled data to feed them into these two paths. To verify this framework, we implement a Word CNN based semi-supervised learning model and test it on two datasets, namely, LIAR and PHEME. Experimental results demonstrate that the model built on the proposed framework can recognize fake news effectively with very few labeled data.

研究の動機と目的

• 急速に変化するソーシャルメディアプラットフォームにおけるリアルタイムフェイクニュース検出において、ラベル付きデータが限られているという課題に対処すること。
• 小規模なラベル付きデータと大規模なラベルなしデータセットを効果的に活用する深層半教師付き学習フレームワークを開発すること。
• ソーシャルメディアニュース環境に一般的に見られるリソースが限られたラベル付きデータの状況において、検出性能を向上させること。
• データ分布の多様性、不均衡データセットを含め、さまざまなニュースイベントとデータ分布に対してフレームワークの頑健性を検証すること。
• フェイクニュース検出をはるかに超えて、他の自然言語処理（NLP）タスクへの汎用性を実現すること。

提案手法

• 共有CNNがラベル付きデータおよびラベルなしデータの両方から低レベル特徴を抽出し、それらを二つの並列パスに供給する。
• 一方のパスでは、ラベル付きデータに対して交差エントロピー損失を用いた教師ありCNNを用いて分類を学習する。
• もう一方のパスでは、すべてのデータに対して平均二乗誤差損失を用いた教師なしCNNを用いて、表現の一貫性を学習する。
• 二つの損失は重み付き和により組み合わせられ、モデル全体の共同最適化が行われる。
• テキスト表現学習のバックボーンアーキテクチャとして、ワードCNNが実装されている。
• PHEMEでは1イベントずつ除外する交差検証、LIARでは標準的な分割を用いて、フレームワークの頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模なラベル付きデータのみを用いて、二パス型の深層半教師付き学習フレームワークがフェイクニュース検出を効果的に行えるか？
• RQ2 教師ありおよび教師なし損失の共同最適化は、純粋に教師ありモデルと比較して検出性能をどのように向上させるか？
• RQ3 PHEMEベンチマークのように、学習データとテストデータの分布が異なる状況でも、モデルは高い性能を維持できるか？
• RQ4 バッチサイズや埋め込み次元といったハイパーパrameterは、モデルの汎用性および性能安定性にどのように影響するか？
• RQ5 トレーニングデータにおけるクラス不均衡は、レアなフェイクニュースイベントの検出能力にどの程度影響を及えるか？

主な発見

• 1%のラベル付きデータのみを用いても、LIARおよびPHEMEデータセットの両方で効果的なフェイクニュース検出が達成され、低データ環境における強い汎用性が示された。
• LIARでは、ラベル付きデータの増加に伴い性能が向上し、データ分布が一致する場合にモデルがより多くのラベル付き例から利益を享受することを示している。
• PHEMEでは、ラベル付きデータの増加が必ずしも性能向上をもたらさない。これは、データ分布のずれやクラス不均衡に起因し、現実のデータの多様性がもたらす課題を浮き彫りにしている。
• 大きなバッチサイズと高い埋め込み次元（256 vs. 64）は、性能のばらつきを低減させ、さまざまなトレーニング条件下での安定性が向上することを示唆している。
• PHEMEのような不均衡データセットでは、レアクラスがトレーニングデータに十分に含まれない場合、マクロF1やマクロAなどの性能指標が劣化する傾向にある。
• Charlie Hebdo、Ferguson、Germanwings-crashなどの多様なイベントに対して、フレームワークは許容できる性能を維持しており、イベント固有の変動に対する頑健性が確認された。