[論文レビュー] A Graph Neural Network based approach for detecting Suspicious Users on Online Social Media.

Shakshi Sharma, Rajesh Sharma|arXiv (Cornell University)|Oct 15, 2020

Misinformation and Its Impacts参考文献 25被引用数 4

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）を用いたアプローチ、具体的にはグラフ畳み込みネットワーク（GCN）を用いて、オンラインソーシャルメディアでフェイクニュースを広める可能性の高い不審なユーザーを検出する手法を提案する。PHEMEのフェイクニュースツイートデータセットを不審ユーザーのデータセットに変換することで、F1スコアは最大0.864、AUC-ROCは0.720に達し、SVM、ランダムフォレスト、LSTMのベースラインを上回った。

ABSTRACT

Online Social Media platforms (such as Twitter and Facebook) are extensively used for spreading the news to a wider public effortlessly at a rapid pace. However, now a days these platforms are also used with an aim of spreading rumors and fake news to a large audience in a short time span that can cause panic, fear, and financial loss to society. Thus, it is important to detect and control these rumors before it spreads to the masses. One way to control the spread of these rumors is by identifying possible suspicious users who are often involved in spreading the rumors. Our basic assumption is that the users who are often involved in spreading rumors are more likely to be suspicious in contrast to the users whose involvement in spreading rumors are less. This is due to the fact that sometimes, users may posts the rumor tweets by accident. In this paper, we use PHEME rumor tweet dataset which contains rumor and non-rumor tweets information on five incidents, that is, i) Charlie hebdo, ii)German wings crash, iii)Ottawa shooting, iv)Sydney siege, and v)Ferguson. We transform this rumor tweets dataset into suspicious users dataset before leveraging Graph Neural Network (GNN) based approach for identifying suspicious users. Specifically, we explore Graph Convolutional Network (GCN),which is a type of GNN, for identifying suspicious users and then we compare GCN results with the other three approaches which act as baseline approaches: SVM, RF and LSTM based deep learning architecture. Extensive experiments performed on real-world dataset, where we achieve up to 0.864 value for F1-Score and 0.720 value for AUC ROC, shows the effectiveness of GNN based approach for identifying suspicious users.

研究の動機と目的

• Twitter や Facebook などのオンラインソーシャルメディアプラットフォームで急速に広がるフェイクニュースやウソの情報の拡散という問題に対処すること。
• フェイクニュースを頻繁に広めるユーザーを特定し、偶然に広めるユーザーとは区別すること。
• ユーザー間の構造的関係をグラフベースのモデリングによって活用することで、既存の手法を改善すること。
• 従来の機械学習およびディープラーニングのベースラインと比較して、グラフ畳み込みネットワーク（GCN）が不審ユーザー検出にどの程度有効であるかを評価すること。

提案手法

• PHEMEフェイクニュースツイートデータセット（5つの実世界の出来事に関するツイートを含む）を、フェイクニュース拡散に関連するユーザー活動を集約することで、不審ユーザーのデータセットに変換する。
• ノードをユーザー、エッジをリツイート、リプライ、メンションとして定義するユーザー相互作用グラフを構築し、ソーシャルネットワークの構造を捉える。
• グラフ内の隣接ノードからの特徴を集約することで、ユーザーの低次元表現を学習するグラフ畳み込みネットワーク（GCN）を適用する。
• ユーザーのネットワーク内での構造的および行動的パターンに基づき、不審または非不審として分類するようにGCNモデルを訓練する。
• サポートベクターマシン（SVM）、ランダムフォレスト（RF）、長短期記憶（LSTM）ネットワークの3つのベースラインモデルと比較する。
• F1スコアやAUC-ROCといった標準的な評価指標を用いて、実世界のデータセット上でのモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、ソーシャルメディアプラットフォームでフェイクニュースを広める関与者である不審ユーザーを効果的に特定できるか？
• RQ2 SVM、RF、LSTMといった従来の機械学習およびディープラーニングモデルと比較して、GCNの性能は不審ユーザー検出においてどの程度優れているか？
• RQ3 ユーザー相互作用をグラフとしてモデリングすることで、非グラフベースのアプローチと比較して、フェイクニュース広めのユーザーの検出性能がどの程度向上するか？
• RQ4 フェイクニュース拡散の文脈において、構造的ネットワーク特徴が不審ユーザー分類に与える影響はどの程度か？

主な発見

• GCNベースのアプローチは最大F1スコア0.864を達成し、ソーシャルメディア上の不審ユーザーを特定する上で優れた性能を示した。
• AUC-ROCスコアが0.720に達し、不審ユーザーと非不審ユーザーを良好に分類できる能力を示した。
• PHEMEデータセット上での評価指標において、SVM、ランダムフォレスト、LSTMの3つのベースラインモデルすべてをGCNモデルが上回った。
• ユーザー相互作用をグラフとしてモデリングすることで、フェイクニュース拡散の構造的パターンを捉えることができ、不審ユーザー検出の性能が向上することが確認された。
• フェイクニュースを頻繁に広めるユーザーは、ネットワークレベルで特徴的なパターンを示すことが実証され、GNNによって効果的に捉えることができる。
• フェイクニュースツイートデータセットをユーザー単位の不審ユーザーデータセットに変換する手法が、GNNモデルの学習および評価に有効であることが示された。