[논문 리뷰] Can social media provide early warning of retraction? Evidence from critical tweets identified by human annotation and large language models

Er‐Te Zheng, Hui‐Zhen Fu외 2명|arXiv (Cornell University)|2024. 03. 25.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 연구는 소셜 미디어, 특히 비판적 트윗이 과학 논문의 철회를 위한 조기 경고 시스템으로 기능할 수 있는지 조사한다. 인간이 애너테이션한 비판적 트윗(철회된 논문의 8.3% 대비 철회되지 않은 논문의 1.5%)과 LLM 기반 탐지(GPT-4o mini, Gemini 2.0 Flash-Lite, Claude 3.5 Haiku)를 조합하여 분석한 결과, 인간이 애너테이션한 신호가 단독으로 LLM을 사용하는 것보다 훨씬 신뢰도가 높음을 확인하였으며, 이는 연구 유효성 확보 모니터링의 가용성과 정확성을 확보하기 위해 인간과 AI의 협업이 필수적임을 시사한다.

ABSTRACT

Timely detection of problematic research is essential for safeguarding scientific integrity. To explore whether social media commentary can serve as an early indicator of potentially problematic articles, this study analysed 3,815 tweets referencing 604 retracted articles and 3,373 tweets referencing 668 comparable non-retracted articles. Tweets critical of the articles were identified through both human annotation and large language models (LLMs). Human annotation revealed that 8.3% of retracted articles were associated with at least one critical tweet prior to retraction, compared to only 1.5% of non-retracted articles, highlighting the potential of tweets as early warning signals of retraction. However, critical tweets identified by LLMs (GPT-4o mini, Gemini 2.0 Flash-Lite, and Claude 3.5 Haiku) only partially aligned with human annotation, suggesting that fully automated monitoring of post-publication discourse should be applied with caution. A human-AI collaborative approach may offer a more reliable and scalable alternative, with human expertise helping to filter out tweets critical of issues unrelated to the research integrity of the articles. Overall, this study provides insights into how social media signals, combined with generative AI technologies, may support efforts to strengthen research integrity.

연구 동기 및 목표

• 비판적 소셜 미디어 논의가 향후 철회되는 과학 논문에 대한 조기 경고 신호로 기능할 수 있는지 평가하기.
• 후속 철회가 이루어진 논문을 식별하는 데 있어 인간이 애너테이션한 비판적 트윗과 대규모 언어 모델(LLM)이 탐지한 트윗의 효과성을 비교하기.
• 인간의 판단과 비교해 LLM이 연구 유효성 관련 비판을 탐지하는 데 있어 신뢰성과 일치도를 평가하기.
• 연구 유효성에 대한 후기 논의 모니터링의 가용성과 정확성을 높이기 위한 인간-AI 협업 프레임워크 제안하기.

제안 방법

• 604편의 철통된 논문과 관련된 3,815건의 트윗 및 668편의 철회되지 않은 논문과 관련된 3,373건의 트윗을 수집하였다.
• 연구 유효성에 대한 비판을 식별하기 위해 인간 애너테이션을 수행하여 골드 표준 데이터셋을 구축하였다.
• GPT-4o mini, Gemini 2.0 Flash-Lite, Claude 3.5 Haiku의 세 개의 LLM을 활용하여 트윗을 비판적 또는 비비판적이라고 분류하였다.
• LLM의 예측 결과를 인간 애너테이션 레이블과 비교하여 일치도 및 신뢰성을 평가하였다.
• LLM의 연구 유효성 관련 비판 탐지 성능 평가를 위해 정밀도, 재현율, F1 점수를 계산하였다.
• 인간의 감시를 통해 LLM 출력에서 연구 유효성과 관련 없는 비판을 걸러내는 인간-AI 협업 모델을 제안하였다.

실험 결과

연구 질문

• RQ1 소셜 미디어에서의 비판적 트윗이 향후 철회되는 과학 논문의 조기 징후로 기능할 수 있는가?
• RQ2 대규모 언어 모델(LLM)이 인간 애너테이션 기준과 비교해 트윗의 연구 유효성 관련 비판을 얼마나 잘 탐지하는가?
• RQ3 인간이 애너테이션한 비판적 트윗과 LLM이 생성한 분류 결과 간 일치 수준은 어느 정도인가?
• RQ4 LLM을 단독으로 활용해 후기 논의의 연구 유효성 모니터링을 얼마나 신뢰할 수 있는가?
• RQ5 인간과 AI의 협업 방식은 철회 조기 경고 시스템의 확장성과 정확도 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 철회된 논문 중 8.3%는 철회 이전에 적어도 한 건의 인간 애너테이션 비판 트윗과 연관되어 있었으며, 철회되지 않은 논문의 경우 이 비율은 1.5%에 불과했다.
• 인간 애너테이션 데이터셋은 강력한 신호를 보였다: 비판적 논의가 철회 이전에 상당수의 사례에서 이미 존재했다.
• LLM가 비판적 트윗을 탐지하는 데 있어 인간 애너테이션 레이블과 부분적인 일치도를 보이며, 완전한 자동화에 대한 신뢰도가 제한됨을 시사했다.
• GPT-4o mini, Gemini 2.0 Flash-Lite, Claude 3.5 Haiku 모두 연구 유효성 관련 비판을 식별하는 데 있어 상당한 양의 오진 및 빠진 검출(이상치)를 보였다.
• 연구는 LLM 기반의 완전 자동화 모니터링를 시행할 경우 오분류 위험이 있으므로 신중한 접근이 필요하다고 결론 내렸다.
• 정확성과 관련성 향상을 위해 인간 전문 지식이 LLM 출력을 걸러내고 검증하는 인간-AI 협업 방식이 권장된다.