[論文レビュー] Has the Online Discussion Been Manipulated? Quantifying Online Discussion Authenticity within Online Social Media

Aviad Elyashar, Jorge Bendahan+1 more|arXiv (Cornell University)|Aug 9, 2017

Spam and Phishing Detection参考文献 17被引用数 10

ひとこと要約

本稿では、複数の類似度関数を用いて、既知の悪用者および正当なユーザーと比較することで、ソーシャルメディア上のオンライン議論の真正性を類似度ベースの手法で定量化する方法を提案する。手動でラベル付けされたアカウントを含むTwitterデータセットを用いた実験では、bag-of-wordsアプローチが最高の性能を示した（AUC ≈ 0.99、F1 ≈ 0.94）。この結果、crowdturfingキャンペーンの効果的検出が可能になった。

ABSTRACT

Online social media (OSM) has a enormous influence in today's world. Some individuals view OSM as fertile ground for abuse and use it to disseminate misinformation and political propaganda, slander competitors, and spread spam. The crowdturfing industry employs large numbers of bots and human workers to manipulate OSM and misrepresent public opinion. The detection of online discussion topics manipulated by OSM \emph{abusers} is an emerging issue attracting significant attention. In this paper, we propose an approach for quantifying the authenticity of online discussions based on the similarity of OSM accounts participating in the discussion to known abusers and legitimate accounts. Our method uses several similarity functions for the analysis and classification of OSM accounts. The proposed methods are demonstrated using Twitter data collected for this study and previously published \emph{Arabic honeypot dataset}. The former includes manually labeled accounts and abusers who participated in crowdturfing platforms. Evaluation of the topic's authenticity, derived from account similarity functions, shows that the suggested approach is effective for discriminating between topics that were strongly promoted by abusers and topics that attracted authentic public interest.

研究の動機と目的

• ソーシャルメディアにおけるcrowdturfingキャンペーンによって引き起こされる操作されたオンライン議論を検出する課題に対処すること。
• 既知の悪用者および正当ユーザーとのアカウント類似度を測定することで、オンライン議論の真正性を定量化する手法を開発すること。
• 本物のユーザー行動を模倣する半自動的および隠蔽された悪用者を検出する際の限界を克服すること。
• アナリストが政治的・商業的・社会的トピックにおける真の公共の関心と操作の違いを区別できるようにすること。

提案手法

• 本手法は、コサイン、ジャカード、ディス係数、TF-IDFを用いたジャカード、およびbag-of-wordsの5つの類似度関数を用い、ラベル付け済みの悪用者および正当ユーザーのプロファイルと、ユーザーのコンテンツ（ツイート）を比較する。
• アカウントの真正性は、悪用者および正当ユーザーとの類似度の重み付き組み合わせにより算出され、0〜1の連続的な真正性スコアとして得られる。
• クラスタリングと手動ラベリングを適用して、データセット内での悪用者および正当ユーザーの特定と検証を実施する。
• トピックの真正性は、個々のアカウントの真正性スコアを集約することで評価され、ドーナツチャートを用いて真正性レベルごとの分布が可視化される。
• 本手法は、2つのカスタムTwitterデータセット（605アカウントがラベル付け済み、1,006名の悪用者）とアラビア語Honeypotデータセットを評価に用いる。
• 性能は3つのデータセットでAUCおよびF1スコアを用いて評価され、ANOVAを用いた統計的分析により、操作されたトピックと真正なトピックにおける真正性分布の有意な差が確認された。

実験結果

リサーチクエスチョン

• RQ1 類似度関数は、ソーシャルメディア上の悪用者アカウントと正当ユーザーとの区別を効果的に可能にするか？
• RQ2 本手法は、カモフラージュや半自動的行動をとる悪用者を含め、オンライン議論の操作をどれほど効果的に検出できるか？
• RQ3 どの類似度関数が多様なデータセットにおいて、最も頑健で正確なアカウント真正性分類を実現するか？
• RQ4 集約されたアカウント真正性スコアは、crowdturferによる操作と真の公共の関心を反映するトピックを信頼性高く区別できるか？

主な発見

• bag-of-words類似度関数が、全データセットで最高の平均AUC（0.99）およびF1（0.94）スコアを達成し、コサイン、ジャカード、ディス係数、TF-IDFベースのジャカード関数を上回った。
• Verified Abuserデータセットでは、近似的に最大の性能（AUC ≈ 0.99、F1 ≈ 0.94）を達成しており、これは提供されたボットのようなアカウントが単純かつ一貫性のある行動を示していたためと推定される。
• ANOVA分析により確認されたように、金融的・政治的関心が強いトピック（操作の対象になりやすい）と、金融的関心が低いトピック（主に真正なもの）の間で、本手法は明確に区別できた。
• 真正性分布の可視化結果から、操作されたトピック（例：Amazon、入札）では少数の真正性が非常に高い悪用者が議論を支配しているのに対し、真のトピック（例：オンライン支援）では正当性がより均等に分布していることが明らかになった。
• 少数のラベル付け済み悪用者アカウントしかなくても、クラスタリングと類似度分析を用いることで、操作されたトピックの効果的検出が可能であった。
• 本手法は強力な汎化可能性を示し、匿名化されたデータを含む公開可能なアラビア語Honeypotデータセットを含む複数のデータセットで一貫した性能を発揮した。