[논문 리뷰] RIP Twitter API: A eulogy to its vast research contributions

Ryan Murtfeldt, Paik, Sejin외 3명|arXiv (Cornell University)|2024. 04. 10.

Misinformation and Its Impacts인용 수 13

한 줄 요약

이 논문은 2006-2023년 Twitter 데이터 사용을 정리하고, 7,432개 게재처에서 27,453건의 연구와 1,303,142건의 수신 인용을 밝혀내며, API 가격 변경 이후 2023년에 13% 감소를 기록한다.

ABSTRACT

Since 2006, Twitter's APIs have been rich sources of data for researchers studying social phenomena such as misinformation, public communication, crisis response, and political behavior. However, in 2023, Twitter began heavily restricting data access, dismantling its academic access program, and setting the Enterprise API price at $42,000 per month. Lacking funds to pay this fee, academics are scrambling to continue their research. This study systematically tabulates the number of studies, citations, publication dates, disciplines, and major topics of research using Twitter data between 2006 and 2024. While we cannot know exactly what will be lost now that Twitter data is cost-prohibitive, we can illustrate its research value during the years it was available. A search of eight databases found that between 2006 and 2024, a total of 33,306 studies were published in 8,914 venues, with 610,738 citations across 16 disciplines. Major disciplines include social science, engineering, data science, and public health. Major topics include information dissemination, tweet credibility, research methodologies, event detection, and human behavior. Twitter-based studies increased by a median of 25% annually from 2006 to 2023, but following Twitter's decision to charge for data, the number of studies dropped by 13%. Much of the 2024 research likely used data collected before the API shutdown, suggesting further decline ahead. This trend highlights a growing loss of empirical insight and access to real-time, public communication-raising concerns about the long-term consequences for studying society, technology, and global events in an era increasingly connected by social media.

연구 동기 및 목표

• 2006년부터 2023년까지 Twitter 데이터 기반 연구의 규모와 게재처를 정량화한다.
• Twitter 데이터를 활용하는 주요 학문 분야와 주제 영역을 식별한다.
• 인용 수를 통해 Twitter 데이터 연구의 학술적 영향을 평가한다.
• API 접속 종료나 비용 장벽으로 인한 연구 손실 가능성을 강조한다.

제안 방법

• 2006-2023년 Twitter 사용자 데이터를 사용하는 연구를 식별하기 위해 8개의 데이터베이스와 3개의 관련 API를 검색했다.
• 각 데이터베이스당 최소 50건의 연구를 수동으로 표본 추출하여 Twitter 데이터의 명시적 사용이나 관련 추출 방법에 근거해 관련성을 확인했다.
• Engineering Village의 데이터 세트를 다른 데이터베이스와 결합하고 DOI, 제목, 초록으로 중복을 제거했다.
• Crossref REST API를 사용하여 각 연구와 전체 코퍼스의 수신 인용을 표로 정리했다.
• 게재처와 상위 인용 연구에 수작업으로 분야를 부여했고, 분야 표기에 두 가지 전략(venue-based와 study-based)을 기록했다.
• 주요 분야의 상위 연구 초록을 검토하여 공통 주제를 식별하는 질적 주제 분석을 수행했다.

실험 결과

연구 질문

• RQ1 2006년부터 2023년까지 발표된 Twitter 데이터 기반 학술 연구의 규모는 얼마나 되는가?
• RQ2 문헌 전반에서 어떤 학문 분야와 주제가 Twitter 데이터 연구를 주도하는가?
• RQ3 수신 인용으로 측정된 이 연구들의 학술적 영향은 무엇이며, Twitter의 API 가격 변경 이후 연구 환경은 어떻게 바뀌었는가?
• RQ4 API 종료 및 가격 변경에 따른 2023년의 감소나 변화는 무엇인가?
• RQ5 향후 접근 정책이 Twitter 데이터 기반 연구의 궤도에 어떤 영향을 미칠 수 있는가?

주요 결과

• Twitter 사용자 데이터를 사용한 고유 연구 27,453건이 확인되었다.
• 연구는 7,432개 게재처에서 발표되었고, 1,303,142건의 수신 인용을 누적했다.
• 연구는 18년에 걸쳐 14개 학문 분야를 망라했으며, 상위 영역으로는 계산 사회과학, 공학, 데이터 과학, 소셜 미디어 연구, 공중보건, 의학이 포함된다.
• 상위 주제로는 정보 확산, 트윗의 신뢰성, 데이터 연구 전략, 주요 사건 감지, 인간 행동 연구가 포함된다.
• 트위터가 API 유료화를 시작한 후 2023년에 Twitter 데이터 기반 연구가 13% 감소했다, 이는 연구 활동에 잠재적인 장기 영향을 시사한다.