[論文レビュー] Tweets as impact indicators: Examining the implications of automated bot accounts on Twitter

Stefanie Haustein, Timothy D. Bowman+4 more|arXiv (Cornell University)|Oct 15, 2014

scientometrics and bibliometrics research被引用数 23

ひとこと要約

この論文は、自動化されたTwitterボットがarXivプレプリントの拡散に与える影響を分析することで、アラトメトリクスに与える影響を調査している。ボットは最小限の関与で多数のツイートを生成するが、これは、学術的評価におけるインパクト指標としての原始的ツイート数の信頼性に懸念を呈する。

ABSTRACT

This brief communication presents preliminary findings on automated Twitter accounts distributing links to scientific papers deposited on the preprint repository arXiv. It discusses the implication of the presence of such bots from the perspective of social media metrics (altmetrics), where mentions of scholarly documents on Twitter have been suggested as a means of measuring impact that is both broader and timelier than citations. We present preliminary findings that automated Twitter accounts create a considerable amount of tweets to scientific papers and that they behave differently than common social bots, which has critical implications for the use of raw tweet counts in research evaluation and assessment. We discuss some definitions of Twitter cyborgs and bots in scholarly communication and propose differentiating between different levels of engagement from tweeting only bibliographic information to discussing or commenting on the content of a paper.

研究の動機と目的

• Twitter上で科学論文を促進する自動化ボット活動の広がりと性質を評価すること。
• 特に学術的インパクトを測定する文脈において、ボットが生成するツイートがアラトメトリクスに与える影響を評価すること。
• ボットアカウントにおける関与のレベル（例：文献情報の共有と内容の議論）の違いを特定すること。
• すべてのツイートが研究評価における意味のある学術的注目を示すという仮定を疑うこと。
• 学術的コミュニケーション文脈におけるボットとサイボーグの定義と分類を洗練すること。

提案手法

• 定められた期間にわたってarXivプレプリントへのリンクを含むツイートのサンプルを収集・分析した。
• 高頻度の投稿、繰り返しの内容、相互作用の欠如といった行動パターンに基づいて、自動化ボットアカウントを特定した。
• ボット活動を段階別に分類：文献情報の単純なリツイートから、論文内容へのより複雑な関与まで。
• タイミング、投稿量、関与度の指標において、ボット行動と人間ユーザーの行動を統計的に比較分析した。
• 自然言語処理技術を用いてツイートの意味的コンテンツを評価し、非人間的パターンを同定した。
• ボット関与レベルの分類体系を提唱し、受動的共有と能動的な学術的コメントの違いを明確にした。

実験結果

リサーチクエスチョン

• RQ1 自動化されたTwitterボットは、arXivの科学論文をめぐるツイートのボリュームにどの程度寄与しているか？
• RQ2 これらのボットの行動パターンは、一般的なソーシャルメディアボットや人間ユーザーとどのように異なるか？
• RQ3 ボットが生成するツイートが、アラトメトリクスがインパクト指標としての妥当性に与える影響は何か？
• RQ4 リンクのリツイートといった低レベルのボット活動と、内容についてのコメントを行う高レベルの関与とは、どのように区別できるか？
• RQ5 学術的コミュニケーション文脈において、ボットとサイボーグの定義と分類として最も適切なものは何か？

主な発見

• 自動化されたTwitterボットは、arXivプレプリントへのリンクを含むツイートの顕著な割合を占めており、全体のツイート数を著しく膨張させている。
• ボット活動は、同一または類似したメッセージを高頻度で投稿する特徴を示し、しばしば内容の議論を伴わない文献情報の共有に限定される。
• 他のユーザーとの相互作用（返信、いいね、リツイート付き引用）がほとんどないため、人間ユーザーとは明確に区別される。
• ボットの存在は、学術的注目やインパクトの代理指標としての原始的ツイート数の信頼性を損なう。
• 単にリンクを共有するボットと、内容に関与するボットの間に明確な違いがあるため、アラトメトリクスにおける洗練された分類の必要性が浮き彫りになった。
• 本研究は、ボット活動のフィルタリングや分類を改善するための手法開発の緊急性を強調している。