[論文レビュー] Towards Automatic Bot Detection in Twitter for Health-related Tasks

Anahita Davoudi, Ari Z Klein+2 more|PubMed|Sep 29, 2019

Spam and Phishing Detection参考文献 27被引用数 5

ひとこと要約

本稿では、ドメイン固有の特徴量と勾配ブースティング分類器を用いてBotometerを拡張することで、妊娠関連のTwitterデータに特化した改善型ボット検出システムを提案している。この手法により、妊娠関連のユーザーコhortにおける非人間的アカウントの識別においてF1スコア0.700を達成し、元のシステムの0.361スコアと比べ顕著に向上した。

ABSTRACT

With the increasing use of social media data for health-related research, the credibility of the information from this source has been questioned as the posts may not from originating personal accounts. While automatic bot detection approaches have been proposed, none have been evaluated on users posting health-related information. In this paper, we extend an existing bot detection system and customize it for health-related research. Using a dataset of Twitter users, we first show that the system, which was designed for political bot detection, underperforms when applied to health-related Twitter users. We then incorporate additional features and a statistical machine learning classifier to improve bot detection performance significantly. Our approach obtains F1-scores of 0.7 for the "bot" class, representing improvements of 0.339. Our approach is customizable and generalizable for bot detection in other health-related social media cohorts.

研究の動機と目的

• 政治的ボット検出システムであるBotometerが、健康関連のTwitterユーザーデータに適用された際の性能を評価すること。
• ユーザー行動やコンテンツパターンの違いにより、一般用途のボット検出ツールが健康分野で性能を発揮できない問題を解決すること。
• ドメイン固有の特徴量と機械学習分類器を組み合わせることで、健康関連のソーシャルメディアにおけるボット検出精度を向上させること。
• 健康指向のソーシャルメディア研究におけるボット検出のためのカスタマイズ可能で汎用性のあるフレームワークを構築すること。
• 再現可能性と今後の健康関連ボット検出研究を促進するため、公開可能なトレーニングデータセットと分類コードを提供すること。

提案手法

• 妊娠を公に発表した10,417人のTwitterユーザーデータを収集し、2名の専門的アノテーターが「ボット」「非ボット」「利用不可」と手動でラベル付けした。アノテーター間一致性は高く（kappa = 0.93）、信頼性が確保された。
• トレーニングおよびテストに使用するため、ラベルが「ボット」または「非ボット」とされた8,262人のユーザーデータを保持し、クラスの分布を維持するためのストラティファイド80/20分割を実施した。
• Botometerの既存特徴量に加え、ドメイン固有の特徴量を追加した：プロフィール画像の顔検出、ユーザーネームにおける名前の存在、ツイートコンテンツに基づく特徴量（感情分析、言語的複雑さなど）。
• Botometerスコアと新たに導出された特徴量を組み合わせて、勾配ブースティング（GB）分類器を学習させ、検出性能を向上させた。
• 保留されたテストセット（1,652人）に対してモデルを評価し、各クラスの適合率、再現率、F1スコアを報告した。
• アノテーター間一致性を評価するためのスコーリングとして、Cohenのカッパ係数を用い、ラベル付けの信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 一般用途の政治的ボット検出システム（Botometer）が、健康関連のTwitterユーザーデータに適用された際の性能はどの程度か？
• RQ2 健康関連ソーシャルメディア行動に特化した、ボット検出性能を向上させる追加の特徴量は何か？
• RQ3 Botometerスコアとドメイン固有特徴量の組み合わせに基づく機械学習分類器が、健康分野におけるボット検出のF1スコアを顕著に向上させられるか？
• RQ4 とりわけ、組織やフォーラム、支援グループを表すボットを分類する際の主な課題は何か？
• RQ5 提案手法は、他の健康関連ソーシャルメディアコhortに対してもどの程度一般化可能でカスタマイズ可能か？

主な発見

• 元のBotometerシステムは、健康関連のTwitterデータに適用された際、'ボット'クラスのF1スコアが0.361にとどまり、政治的文脈から健康分野への一般化が著しく不十分であることが示された。
• プロフィール画像の顔検出、ユーザーネームにおける名前の存在、コンテンツに基づく言語的特徴量といったドメイン固有の特徴量を追加することで、検出性能が顕著に向上した。
• Botometerスコアと拡張された特徴量を組み合わせた最終的な勾配ブースティング分類器は、'ボット'クラスでF1スコア0.700を達成し、ベースラインから0.339の向上を示した。
• このモデルは、'ボット'クラスで高い適合率（0.985）と中程度の再現率（0.724）を達成しており、真のボットを強く信頼して識別できる一方で、多くのボットをカバーしていることが示された。
• 誤検出（偽陰性）の主な原因は、人間がコンテンツを管理する公式の健康機関、フォーラム、支援グループを含む、ボットの定義が広すぎるためであった。
• 本研究では、再現可能性を高め、今後の健康関連ボット検出研究を促進するため、公開可能なトレーニングデータセットとコードを提供した。