[論文レビュー] ICE: Information Credibility Evaluation on Social Media via Representation Learning

Qiang Liu, Shu Wu+3 more|arXiv (Cornell University)|Sep 29, 2016

Misinformation and Its Impacts参考文献 38被引用数 7

ひとこと要約

この論文は、ユーザー信頼性、行動タイプ、時間的ダイナミクス、コメントの態度を統合的にモデル化する、Sina Weibo データセット上で最先端の性能を達成する、SNS 情報信頼性評価のための表現学習フレームワーク ICE を提案する。微投稿の拡散の動的で統合的な表現を学習し、ペアワイズ学習を用いてフェイクニュースとそうでないものを区別することで、従来の特徴工学に基づく手法を上回る性能を発揮する。

ABSTRACT

With the rapid growth of social media, rumors are also spreading widely on social media and bring harm to people's daily life. Nowadays, information credibility evaluation has drawn attention from academic and industrial communities. Current methods mainly focus on feature engineering and achieve some success. However, feature engineering based methods require a lot of labor and cannot fully reveal the underlying relations among data. In our viewpoint, the key elements of user behaviors for evaluating credibility are concluded as "who", "what", "when", and "how". These existing methods cannot model the correlation among different key elements during the spreading of microblogs. In this paper, we propose a novel representation learning method, Information Credibility Evaluation (ICE), to learn representations of information credibility on social media. In ICE, latent representations are learnt for modeling user credibility, behavior types, temporal properties, and comment attitudes. The aggregation of these factors in the microblog spreading process yields the representation of a user's behavior, and the aggregation of these dynamic representations generates the credibility representation of an event spreading on social media. Moreover, a pairwise learning method is applied to maximize the credibility difference between rumors and non-rumors. To evaluate the performance of ICE, we conduct experiments on a Sina Weibo data set, and the experimental results show that our ICE model outperforms the state-of-the-art methods.

研究の動機と目的

• SNS フェイクニュースにおける信頼性要因の複雑な相互作用をモデル化する際、従来の特徴工学に基づく手法に見られる制限を是正すること。
• 微投稿拡散における「誰が、何を、いつ、どのように」を表す要因の動的かつ統合的な相互作用を捉える統一された表現学習フレームワークの開発。
• ユーザー信頼性、行動タイプ、時間的パターン、ユーザーのフィードバック（コメント）を統合的にモデル化することで、フェイクニュース検出の性能を向上させること。
• 大規模なSNSデータに対してスケーラブルかつ効果的な信頼性評価を実現すること。
• 実際の情報管理に応用可能な、ICE モデルを実装するリアルタイムシステム（NICE）の構築。

提案手法

• ICE は、ユーザー信頼性、行動タイプ（例：投稿、リツイート）、時間的特性（例：拡散時刻）、コメントの態度（例：懐疑的または特定のコメント）という4つの信頼性要因の潜在的表現を学習する。
• 個々の微投稿の動的表現は、これらの4要因の表現を統合することで形成される。
• 拡散チェーンに含まれるすべての微投稿の動的表現を統合することで、イベント全体の信頼性表現が生成される。
• トレーニング中にフェイクニュースと非フェイクニュースのインスタンス間の信頼性差を最大化するために、ペアワイズ学習戦略が採用される。
• 深層ニューラルネットワークを用いて信頼性要因間の非線形的相互作用を学習し、手動による特徴工学に依存しない。
• 訓練済みの ICE モデルを統合し、Sina Weibo におけるオンラインの信頼性評価を可能にするリアルタイムWebアプリケーション（NICE）に統合する。

実験結果

リサーチクエスチョン

• RQ1 特徴工学に基づく従来手法と比較して、表現学習アプローチは、ユーザー信頼性、行動、時間、フィードバックの複雑な統合的相互作用をより効果的にモデル化できるか？
• RQ2 統一された表現モデルは、微投稿拡散における信頼性の動的変化をどの程度的確に捉えることができるか？
• RQ3 「誰が、何を、いつ、どのように」を表す複数の信頼性要因を統合することで、個別に特徴を分析する手法と比較して、フェイクニュース検出性能がどの程度向上するか？
• RQ4 提案された ICE モデルは、微投稿のポピュラリティの異なるレベルに一般化可能で、高い性能を維持できるか？
• RQ5 大規模なSNSデータセットにおいて、ICE モデルのトレーニング時間および推論時間のスケーラビリティはどの程度か？

主な発見

• ICE は Sina Weibo データセット上で、すべての最先端手法を上回り、特に ICE+Content が最高の性能を達成した。
• すべてのポピュラリティレベル（0–100、100–300、300–1000、1000+）で強力な性能を維持しているが、ポピュラリティが高くなるとノイズの影響で若干精度が低下した。
• ICE のトレーニングおよびテスト時間は、データセットサイズに比例して線形に増加し、大規模データに対して良好なスケーラビリティを示した。
• ICE を基盤に構築された NICE システムは、関連する Weibo マイクロブログをクローリング・分析することで、ユーザーのクエリに対するリアルタイムの信頼性評価を可能にした。
• アブレーションスタディの結果、誰が、何を、いつ、どのようにという要因を統合的にモデル化することで、個別的または集約的な特徴アプローチよりも顕著に性能が向上した。
• ペアワイズ学習の目的関数は、信頼性マージンを最大化することで、フェイクニュースと非フェイクニュースの識別能力を効果的に向上させた。