[論文レビュー] Online Engagement with Retracted Articles: Who, When, and How?

Henry K. Dambanemuya, Rod Abhari+2 more|arXiv (Cornell University)|Mar 8, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本研究では、3,800件以上の再掲記事である英語論文のTwitterでの関与を、ユーザーのタイプ分類と関与指標を用いて分析した。その結果、再掲記事は非再掲記事と比較して顕著に高い注目と関与を受けることが判明した。特に、再掲の前段階で一般ユーザーとボットによる関与が顕著であった。研究結果は、非専門家がオンライン上で再掲された研究を広める中心的役割を果たしていることを示しており、ソーシャルメディアプラットフォームが問題のある科学的成果の早期検出を支援できる可能性を示唆している。

ABSTRACT

Retracted research discussed on social media can spread misinformation. Yet we lack an understanding of how retracted articles are mentioned by academic and non-academic users. This is especially relevant on Twitter due to the platform's prominent role in science communication. Here, we analyze the pre- and post-retraction differences in Twitter attention and engagement metrics for over 3,800 retracted English-language articles alongside comparable non-retracted articles. We subset these findings according to five user types detected by our supervised learning classifier: members of the public, academics, bots, science practitioners, and science communicators. We find that retracted articles receive greater user attention (tweet count) and engagement (likes, retweets, and replies) than non-retracted articles, especially among members of the public and bots, with the majority of user engagement happening before retraction. Our results highlight the prominent role of non-experts in discussions of retracted research and suggest an opportunity for social media platforms to contribute towards early detection of problematic scientific research online.

研究の動機と目的

• Twitter上での異なるユーザーのタイプが、再掲された科学的論文と非再掲論文とをどのように関与するかを理解すること。
• 再掲論文が非再掲論文よりも注目と関与を受けるかどうか、およびその差がユーザーのタイプによってどのように異なるかを調査すること。
• 再掲イベントに伴う関与のタイミング、特に再掲の前後における関与の差を検討すること。
• キーワード関連コンテンツ（例：再掲理由）がTwitter上での関与パターンにどのように影響するかを検討すること。
• ユーザーの関与パターンを活用して、誤った科学的成果の早期検出を支援するためのソーシャルメディアプラットフォーム設計の改善機会を明らかにすること。

提案手法

• 3,800件の再掲英語論文を特定するためにRetraction Watchデータベースを活用し、同じジャーナルから非再掲論文をマッチングした。
• AltmetricおよびTwitterのResearch APIを活用して、各論文のソーシャルメディア関与指標（ツイート数、いいね、リツイート、返信）を収集した。
• プロフィール記述を用いて、教師あり機械学習分類器を適用し、Twitterユーザーを5つのタイプに分類した：研究者、科学コミュニケーター、科学実務者、ボット、一般ユーザー。
• 時系列分析を実施し、ユーザーのタイプごとに再掲前後での関与レベルを比較した。
• TF-IDFおよびキーワードベース分析を用いて、再掲理由関連コンテンツ（例：「不正行為」、「データの問題」）が関与レベルに与える相関を検討した。
• 論文のプロモーションの影響を制御するため、ツイート数を基準に非再掲論文をマッチングし、可視性を同等に保った。

実験結果

リサーチクエスチョン

• RQ1 Twitter上での再掲論文への注目と関与は、非再掲論文と異なるか？
• RQ2 Twitter上での（非）再掲論文への注目と関与は、ユーザーのタイプによってどのように異なるか？
• RQ3 再掲論文（非再掲論文）に対する関与は、ユーザーのタイプごとに再掲前後でどのように異なるか？
• RQ4 再掲論文に関連するさまざまなキーワード関連コンテンツ（例：再掲理由）によって、Twitter上の関与はどのように変化するか？

主な発見

• 再掲論文は非再掲論文と比較して、ツイート数による注目度といいね、リツイート、返信による関与度が顕著に高いことが判明した。
• 再掲論文の大多数の関与が再掲の前段階に集中しており、注目度が再掲前の段階でピークに達していることが示された。
• 一般ユーザーとボットが、特にツイート数とリツイートの観点で、再掲論文に対して最も高い関与を示した。
• 研究者と科学コミュニケーターは、誤情報の是正に果たせる役割があるにもかかわらず、非学術的ユーザーと比較して関与度が低かった。
• 再掲論文の関与は、再掲理由に関連するキーワード（例：「不正行為」、「データの問題」）と強く関連しており、再掲関連コンテンツが可視性を高めていることが示唆された。
• 本研究では、ランセットのヒドロキシクロロジン研究のような再掲論文が、Twitterで29,000件を超える言及を集めたことが判明し、再掲後でさえも広範な公開討論が行われていることを示している。