[論文レビュー] RIP Twitter API: A eulogy to its vast research contributions

Ryan Murtfeldt, Paik, Sejin+3 more|arXiv (Cornell University)|Apr 10, 2024

Misinformation and Its Impacts被引用数 13

ひとこと要約

本論文は2006-2023年のTwitterデータ利用を網羅し、7,432件の刊行誌で27,453件の研究を、1,303,142件の引用を明らかにし、API価格変更後の2023年に13%の減少を記録している。

ABSTRACT

Since 2006, Twitter's APIs have been rich sources of data for researchers studying social phenomena such as misinformation, public communication, crisis response, and political behavior. However, in 2023, Twitter began heavily restricting data access, dismantling its academic access program, and setting the Enterprise API price at $42,000 per month. Lacking funds to pay this fee, academics are scrambling to continue their research. This study systematically tabulates the number of studies, citations, publication dates, disciplines, and major topics of research using Twitter data between 2006 and 2024. While we cannot know exactly what will be lost now that Twitter data is cost-prohibitive, we can illustrate its research value during the years it was available. A search of eight databases found that between 2006 and 2024, a total of 33,306 studies were published in 8,914 venues, with 610,738 citations across 16 disciplines. Major disciplines include social science, engineering, data science, and public health. Major topics include information dissemination, tweet credibility, research methodologies, event detection, and human behavior. Twitter-based studies increased by a median of 25% annually from 2006 to 2023, but following Twitter's decision to charge for data, the number of studies dropped by 13%. Much of the 2024 research likely used data collected before the API shutdown, suggesting further decline ahead. This trend highlights a growing loss of empirical insight and access to real-time, public communication-raising concerns about the long-term consequences for studying society, technology, and global events in an era increasingly connected by social media.

研究の動機と目的

• 2006年から2023年にかけて、Twitterデータを用いた研究の量と刊行媒体を定量化する。
• Twitterデータを活用する主要な分野とトピック領域を特定する。
• 引用件数を通じてTwitterデータ研究の学術的影響を評価する。
• APIアクセスの中断または費用障壁により研究に生じうる潜在的損失を強調する。

提案手法

• 8つのデータベースと3つの関連APIを検索して、2006-2023年のTwitterユーザーデータを用いた研究を特定した。
• 各データベースにつき少なくとも50件の研究を手動サンプリングし、Twitterデータの明示的な使用や関連抽出手法に基づく関連性を確認した。
• Engineering Villageのデータセットを他のデータベースと組み合わせ、DOI・タイトル・要約で重複を削除した。
• Crossref REST APIを用いて各研究および全体コーパスの受信引用を集計した。
• 会場（刊行物）と上位引用研究に対して手作業で分野を割り当て、分野ラベリングには会場ベースと研究ベースの2つの戦略を記した。
• 主要分野のトップ研究の要約を検討して共通テーマを特定する定性的トピック分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 2006年から2023年に公表されたTwitterデータを用いた学術研究のコーパスはどの程度大きいか？
• RQ2 文献全体でTwitterデータ研究を支配する分野とトピックは何か？
• RQ3 TwitterのAPI価格変更後、引用件数で測られる学術的影響はどの程度で、研究環境はどのように変化したか？
• RQ4 APIの停止と価格変更に伴い2023年にどのような減少や動きの変化が生じたか？
• RQ5 将来のアクセス方針がTwitterデータ駆動研究の展開にどのように影響する可能性があるか？

主な発見

• 27,453件のTwitterユーザーデータを用いた固有の研究を特定した。
• 研究は7,432の刊行媒体に掲載され、1,303,142件の引用を蓄積した。
• 研究は18年にわたり、14の分野を横断し、主要分野として計算機社会科学、工学、データサイエンス、ソーシャルメディア研究、公衆衛生、医療などが挙げられた。
• 主要なトピックには情報伝播、ツイートの信頼性、データ研究戦略、重大イベントの検出、人間行動の研究が含まれていた。
• TwitterがAPI課金を開始した後、2023年にTwitterデータを用いた研究が13%減少し、研究活動に長期的な影響がある可能性を示唆している。