[論文レビュー] Deep Two-path Semi-supervised Learning for Fake News Detection

Xishuang Dong, Uboho Victor+2 more|arXiv (Cornell University)|Jun 10, 2019

Misinformation and Its Impacts参考文献 14被引用数 30

ひとこと要約

本稿では、共有および分離された畳み込みニューラルネットワーク（CNN）を用いて、教師ありおよび教師なし損失を統合的に最適化する深層二パス半教師あり学習モデル（DTSL）を提案する。ラベル付きおよびラベルなしのTwitterデータを活用することで、特にラベルデータが少ない状況下でも優れた性能を達成し、分布シフトに対して頑健であり、PHEMEデータセットにおいて教師ありベースラインを上回ることを示した。

ABSTRACT

News in social media such as Twitter has been generated in high volume and speed. However, very few of them can be labeled (as fake or true news) in a short time. In order to achieve timely detection of fake news in social media, a novel deep two-path semi-supervised learning model is proposed, where one path is for supervised learning and the other is for unsupervised learning. These two paths implemented with convolutional neural networks are jointly optimized to enhance detection performance. In addition, we build a shared convolutional neural networks between these two paths to share the low level features. Experimental results using Twitter datasets show that the proposed model can recognize fake news effectively with very few labeled data.

研究の動機と目的

• Twitterなどのソーシャルメディアプラットフォームにおけるリアルタイムのフェイクニュース検出において、ラベル付きデータが限られているという課題に対処すること。
• 教師あり学習にラベル付きデータを、自己教師あり表現学習にラベルなしデータを統合的に活用することで、検出性能を向上させること。
• 訓練データとテストデータの分布が異なる状況下で過学習を軽減し、一般化性能を向上させること。
• PHEMEデータセットにおいて、現実的な1イベントずつ除外する交差検証（leave-one-event-out cross-validation）の下で、モデルの有効性を検証すること。
• 半教師あり学習が、人手によるアノテーションが最小限の状況下でも、フェイクニュース検出を著しく改善できることを示すこと。

提案手法

• モデルは、入力されたツイートから低レベル特徴を抽出する共有CNNを用い、教師ありおよび教師なしの両パスに共通して使用する。
• 教師ありパスは、共有CNNに続く教師ありCNN（フィルタ数512、256、128）から構成され、ラベル付きサンプルの予測を出力する。
• 教師なしパスは、同じ共有CNNを使用するが、ラベルなしのサンプルを含むすべてのサンプルに対して予測を生成する、別個の教師なしCNN（同一アーキテクチャ）に接続される。
• モデルは、ラベル付きデータにおける交差エントロピー損失と、すべてのサンプルにおける二つのパスの予測値の間の平均二乗誤差（MSE）損失の重み付き和を最適化する。
• 教師なし損失の重みは、トレーニング中にスケジュール関数を用いて段階的に増加させ、自己教師あり学習の重要性を徐々に高める。
• トレーニングにはADAM最適化手法を用い、安定性と収束性を高めるためにハイパーパrameterを調整した。これにはドロップアウト（0.8）、比較用の2層ブロックリカレントニューラルネットワーク（BRNN）ベースライン、100エポックの学習が含まれる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きツイートの割合が非常に少ない状況下でも、二パス半教師ありCNNモデルがフェイクニュース検出性能を向上させることができるか？
• RQ2 教師ありおよび教師なし損失を統合的に最適化することで、異なるイベントの分布間でのモデル一般化性能にどのような影響を与えるか？
• RQ3 ラベル付きデータが少ない状況下でも、BRNN や従来の機械学習モデルと比較して、提案モデルが優れた性能を示すか？
• RQ4 1イベントずつ除外する交差検証（leave-one-event-out cross-validation）の下で、モデルの性能はいかがであり、実世界の展開状況を模倣しているか？
• RQ5 ラベル付きデータの割合を変化させた場合、特に訓練データとテストデータの分布が異なる状況下で、モデル性能にどのような影響があるか？

主な発見

• DTSLモデルは、ラベル付きデータが5%の状況でもマクロFスコア53.90%を達成し、ナイーブベイズ（41.24%）やSVM（12.56%）といった従来モデルを著しく上回った。
• ラベル付きデータが10%に増加した場合、マクロFスコアは61.53%に上昇し、アノテーションが限られた状況下でも優れた性能を示した。
• ラベル付きデータの割合が30%に上昇した場合、マクロFスコアは57.98%に低下した。これは、データ分布の不一致に起因する分布シフトや過学習の可能性を示唆している。
• フェアガソン（FE）イベントでは、ラベル付きデータが5%のときFスコアは22.22%から10%では40.00%、30%では50.00%に向上し、データ量の増加に伴い性能向上が確認された。これは、モデルの適応性を示している。
• モデルは分布シフトに対して優れた頑健性を示し、特にBRNN やSVMといった教師ありモデルと比較して、イベント間評価で顕著に優れた性能を発揮した。
• 教師なし損失成分（二重CNN出力間のMSE）は、特にデータが少ない状況下で、特徴の一般化を向上させることで性能向上に大きく寄与した。