[論文レビュー] Learning Class-specific Word Representations for Early Detection of Hoaxes in Social Media.

Arkaitz Zubiaga|arXiv (Cornell University)|Jan 22, 2018

Misinformation and Its Impacts参考文献 59被引用数 5

ひとこと要約

本論文は、ウィキデータから抽出された4,007件の報道記事および1,300万件のツイート（うち15%が偽物）から構築された大規模データセットを用いて、クラス固有の単語埋め込み（multiw2v）を訓練することで、ソーシャルメディアにおける早期フェイクニュース検出のための準自動手法を提案する。この手法は、報道の最初のツイートから10分以内に72%を超えるF1スコアを達成し、ベースラインを上回り、現実的な真偽の分布を反映した公開されたベンチマークデータセットを提供する。

ABSTRACT

As people increasingly use social media as a source for news consumption, its unmoderated nature enables the diffusion of hoaxes, which in turn jeopardises the credibility of information gathered from social media platforms. To mitigate this problem, we study the development of a hoax detection system that can distinguish true and false reports early on. We introduce a semi-automated approach that leverages the Wikidata knowledge base to build large-scale datasets for veracity classification, which enables us to create a dataset with 4,007 reports including over 13 million tweets, 15% of which are fake. We describe a method for learning class-specific word representations using word embeddings, which we call multiw2v. Our approach achieves competitive results with F1 scores over 72% within 10 minutes of the first tweet being posted, outperforming other baselines. Our dataset represents a realistic scenario with a real distribution of true and false stories, which we release for further use as a benchmark in future research.

研究の動機と目的

• ソーシャルメディアにおけるウイルス的広がりを示すフェイクニュースの増加が情報の信ぴょう性を損なうという問題に対処すること。
• 拡散の初期段階で偽ニュースを検出できるシステムの開発。
• ウィキデータを活用して、真贋分類のための大規模かつ現実的なデータセットを自動生成する。
• フェイクニュースと真実ニュースに特化した単語表現を用いることで、検出性能の向上。
• 今後の研究を支援するため、早期フェイクニュース検出分野におけるベンチマークデータセットの公開。

提案手法

• ウィキデータを活用して、関連するツイートを含む4,007件の報道記事から大規模データセットを自動的に構築。
• 1,300万件を超えるツイートのデータセットを構築し、そのうち15%を偽物としてラベル付け。これは現実の分布を反映している。
• 真実ニュースとフェイクニュースの間の意味的差を捉えるクラス固有の単語埋め込みを学習する手法であるmultiw2vを提案。
• これらの埋め込みを用いて分類器を訓練し、初期段階の特徴を用いてフェイクニュースと非フェイクニュースを区別。
• ウィキデータの構造化された事実に基づいてレポートを準自動でラベル付けするパイプラインを採用し、スケーラブルなデータ収集を実現。
• 最初のツイートから10分以内の性能を測定するための時間に配慮した評価プロトコルを採用。

実験結果

リサーチクエスチョン

• RQ1 ウィキデータを用いた準自動的手法により、現実的で大規模なフェイクニュース検出用データセットを生成できるか？
• RQ2 クラス固有の単語埋め込み（multiw2v）は、標準的な単語埋め込みと比較して、早期検出性能を向上させられるか？
• RQ3 本手法は、報道の最初のツイートから10分以内にフェイクニュースを検出する性能をどの程度発揮するか？
• RQ4 F1スコアおよび早期検出能力の観点から、既存のベースラインと比較して、モデルはどの程度優れているか？
• RQ5 このデータセットは、真実と偽物のニュースの現実世界の分布をどの程度反映しているか？

主な発見

• 提案手法であるmultiw2vは、最初のツイートから10分以内に72%を超えるF1スコアを達成し、優れた早期検出能力を示した。
• データセットには4,007件のレポートと1,300万件を超えるツイートが含まれており、そのうち15%が偽物としてラベル付けされており、フェイクニュースの現実的な分布を反映している。
• モデルはベースライン手法を上回っており、クラス固有の単語表現が検出性能の向上に寄与していることが示された。
• ウィキデータの活用により、真贋分類のための大規模で高品質なトレーニングデータセットをスケーラブルに自動生成可能である。
• データセットはベンチマークとして公開されており、再現性および今後の早期フェイクニュース検出分野の研究を支援する。
• 本手法は低遅延検出においても頑健であるため、ソーシャルメディアプラットフォームにおけるリアルタイム導入に適している。