[논문 리뷰] Online Engagement with Retracted Articles: Who, When, and How?

Henry K. Dambanemuya, Rod Abhari외 2명|arXiv (Cornell University)|2022. 03. 08.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 연구는 3,800편 이상의 영문 재판행 논문에 대한 트위터 참여를 사용자 유형 분류 및 참여 지표를 활용해 분석하여, 재판행된 논문이 재판행 이전에 특히 일반 대중과 봇에 의해 더 높은 주목과 참여를 받는 것으로 밝혀냈다. 연구 결과는 비전문가들이 온라인에서 재판행된 연구를 확산하는 데 핵심적인 역할을 한다는 점을 시사하며, 소셜미디어 플랫폼이 문제 있는 과학 연구를 조기에 탐지하는 데 기여할 수 있음을 시사한다.

ABSTRACT

Retracted research discussed on social media can spread misinformation. Yet we lack an understanding of how retracted articles are mentioned by academic and non-academic users. This is especially relevant on Twitter due to the platform's prominent role in science communication. Here, we analyze the pre- and post-retraction differences in Twitter attention and engagement metrics for over 3,800 retracted English-language articles alongside comparable non-retracted articles. We subset these findings according to five user types detected by our supervised learning classifier: members of the public, academics, bots, science practitioners, and science communicators. We find that retracted articles receive greater user attention (tweet count) and engagement (likes, retweets, and replies) than non-retracted articles, especially among members of the public and bots, with the majority of user engagement happening before retraction. Our results highlight the prominent role of non-experts in discussions of retracted research and suggest an opportunity for social media platforms to contribute towards early detection of problematic scientific research online.

연구 동기 및 목표

• 트위터에서 다양한 사용자 유형이 재판행된 과학 논문과 비재판행 논문을 어떻게 다루는지 비교하여 이해하는 것.
• 재판행된 논문이 비재판행 논문보다 더 많은 주목과 참여를 받는지, 그리고 이는 사용자 유형에 따라 어떻게 달라지는지 조사하는 것.
• 재판행 사건과의 관련성에 따라 참여 시간의 변화를 분석하는 것, 특히 재판행 이전과 이후의 차이를 조사하는 것.
• 키워드 기반 콘텐츠(예: 재판행 이유)가 트위터에서의 참여 패턴에 어떻게 영향을 미치는지 분석하는 것.
• 사용자 참여 패턴을 통해 잘못된 과학 연구를 조기에 탐지할 수 있는 기회를 식별하여 소셜미디어 플랫폼 설계에 정보를 제공하는 것.

제안 방법

• 3,800편의 재판행 영문 논문을 식별하기 위해 Retraction Watch 데이터베이스를 활용하고, 동일 저널에서의 비재판행 논문을 매칭하였다.
• Altmetric 및 트위터의 Research API를 활용하여 각 논문의 소셜미디어 참여 지표(트윗, 좋아요, 재트윗, 댓글)를 수집하였다.
• 프로필 설명을 기반으로 사용자 유형을 학술인, 과학 커뮤니케이터, 과학 전문가, 봇, 일반 대중의 다섯 유형으로 분류하기 위해 지도 학습 기반 분류기를 적용하였다.
• 시계열 분석을 수행하여 사용자 유형 간 재판행 이전 및 이후의 참여 수준을 비교하였다.
• TF-IDF 및 키워드 기반 분석을 통해 재판행 관련 콘텐츠(예: '사기', '데이터 문제')가 참여 수준과 어떻게 관련되어 있는지 분석하였다.
• 논문 홍보 영향을 통제하기 위해 트윗 수를 기준으로 비재판행 논문을 매칭하여 동일한 노출 수준을 확보하였다.

실험 결과

연구 질문

• RQ1 트위터에서 재판행된 논문에 대한 주목과 참여가 비재판행 논문과 다를까?
• RQ2 트위터에서 다양한 사용자 유형 간 재판행(비재판행) 논문에 대한 주목과 참여는 어떻게 다를까?
• RQ3 재판행 이전과 이후에 사용자 유형 간 재판행(비재판행) 논문에 대한 참여는 어떻게 다를까?
• RQ4 재판행 논문과 연관된 다양한 키워드 기반 콘텐츠(예: 재판행 이유)에 따라 트위터에서의 참여는 어떻게 달라지는가?

주요 결과

• 재판행된 논문은 비재판행 논문보다 훨씬 더 높은 사용자 주목(트윗 수로 측정)과 참여(좋아요, 재트윗, 댓글)를 받았다.
• 재판행 논문의 대부분의 참여가 재판행 이전에 발생하여, 주목이 재판행 이전 단계에서 최고조에 이르렀음을 시사한다.
• 일반 대중과 봇이 재판행 논문에 대해 가장 높은 참여 수준을 보였으며, 특히 트윗 수와 재트윗 수에서 두드러졌다.
• 학술인과 과학 커뮤니케이터는 오락성 정보를 바로잡을 잠재적 역할을 지니고 있음에도 불구하고, 비학술 사용자들보다 참여 수준이 낮았다.
• 재판행 논문의 참여는 재판행 이유와 관련된 키워드(예: '사기', '데이터 문제')와 강하게 연관되어 있어, 재판행 관련 콘텐츠가 가시성을 높이는 데 기여함을 시사한다.
• 이 연구는 Lancet의 하이드로클로로퀴논 연구처럼 재판행된 논문이 트위터에서 29,000건 이상의 언급을 받았다는 점을 발견하여, 재판행 이후에도 출판 후 논의가 광범위하게 이루어지고 있음을 보여주었다.