[論文レビュー] Online User Profiling to Detect Social Bots on Twitter

Maryam Heidari, James H. Jones+1 more|arXiv (Cornell University)|Mar 9, 2022

Misinformation and Its ImpactsSocial Sciences被引用数 18

ひとこと要約

本稿では、ユーザーのテキスト投稿からオンラインユーザープロフィールを構築し、年齢、性別、教育水準、性格などの個人的属性を抽出することで、Twitter上のソーシャルボットを検出する新しい機械学習手法を提案する。個人情報の類似性をシグナルとして活用することで、ボットと人間を高精度に区別するモデルを構築し、Cresci 2017データセットからのプロファイルアノテーションを含む6,900件以上のTwitterアカウントを含む新しい公開データセットを提供する。

ABSTRACT

Social media platforms can expose influential trends in many aspects of everyday life. However, the movements they represent can be contaminated by disinformation. Social bots are one of the significant sources of disinformation in social media. Social bots can pose serious cyber threats to society and public opinion. This research aims to develop machine learning models to detect bots based on the extracted user's profile from a Tweet's text. Online users' profile shows the user's personal information, such as age, gender, education, and personality. In this work, the user's profile is constructed based on the user's online posts. This work's main contribution is three-fold: First, we aim to improve bot detection through machine learning models based on the user's personal information generated by the user's online comments. When comparing two online posts, the similarity of personal information makes it difficult to differentiate a bot from a human user. However, this research turns personal information similarity among two online posts into an advantage for the new bot detection model. The new proposed model for bot detection creates user profiles based on personal information such as age, personality, gender, education from users' online posts and introduces a machine learning model to detect social bots with high prediction accuracy based on personal information. Second, create a new public data set that shows the user's profile for more than 6900 Twitter accounts in the Cresci 2017 data set.

研究の動機と目的

• オンライン投稿から得られる個人的情報に基づいてユーザープロファイルをモデル化することで、ソーシャルボット検出を向上させること。
• 個人情報がアカウント間で極めて類似している場合に、ボットと人間を区別する課題に対処すること。
• Cresci 2017ベンチマークから抽出した6,900件以上のTwitterアカウントのユーザープロファイルをアノテーションした新しい公開データセットを作成すること。
• プロファイルの類似性を分類のシグナルとして活用する機械学習モデルを開発すること。
• プロファイルベースの特徴量がボット検出精度をどのように向上させるかを実証すること。

提案手法

• 自然言語処理技術を用いて、ユーザーのTwitter投稿から年齢、性別、教育水準、性格などの個人的属性を抽出し、ユーザープロファイルを構築する。
• 複数の投稿にわたる個人情報の類似性を、ボットらしき行動を特定するためのシグナルとして扱い、ボットはしばしばこのような属性を複製または模倣するという仮定に基づく。
• プロファイル特徴量を用いて、人間アカウントとボットアカウントを区別するための教師あり機械学習分類器を訓練する。
• 本手法はCresci 2017データセットを基盤とし、テキストコンテンツ上のNLPパイプラインを用いてプロファイルアノテーションを生成する。
• ユーザープロファイルを構造的かつ学習可能な形式で表現するために、言語的特徴量と人口統計的特徴量を併用する。
• 6,900件のTwitterアカウントのプロファイルアノテーションを含む新しい公開データセットをリリースし、再現可能性とベンチマークの実施を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの投稿から抽出した個人的情報は、ソーシャルボット検出の精度を向上させることができるか？
• RQ2 複数の投稿にわたる個人的属性の類似性は、ボットと人間を区別するためのどのようなシグナルとして機能するか？
• RQ3 従来の手法と比較して、プロファイルベースの特徴量はボット検出パフォーマンスをどの程度向上させることができるか？
• RQ4 非構造的Twitterテキストからユーザープロファイルを構築することは、実現可能で信頼性があるか？
• RQ5 本手法が、プロファイルレベルの特徴量を用いた既存のボット検出アプローチと比較してどのように差をつけるか？

主な発見

• 本手法は、オンライン投稿から導出されたユーザープロファイル特徴量を活用することで、ソーシャルボット検出において高い予測精度を達成した。
• 投稿間のプロファイル類似性は、特に人口統計的および性格的特徴と組み合わせることで、ボットアカウントを特定する強力な指標であることが示された。
• 本研究では、6,900件以上のTwitterアカウントのプロファイルをアノテーションした新しい公開データセットを提供し、再現可能性と今後の研究を促進した。
• 年齢、性別、教育水準、性格といった個人的属性の統合により、モデルの検出性能が顕著に向上した。
• プロファイルの一貫性をノイズではなく分類の特徴として扱うことで、ベースライン手法を上回る性能を発揮した。
• ボットが人間らしき個人的情報を模倣しても、プロファイル類似性におけるわずかな不一致やパターンを検出することで、検出が可能であることが結果から示された。