[논문 리뷰] WithdrarXiv: A Large-Scale Dataset for Retraction Study

Delip Rao, Jonathan Young외 2명|arXiv (Cornell University)|2024. 12. 04.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 arXiv 전인쇄본 중 약 14,000편의 철수된 논문과 관련된 철거 댓글을 포함한 최초의 대규모 데이터셋인 WithdrarXiv를 소개하며, 저자 기재 사유 분석을 통해 10개 카테고리로 구성된 철거 사유 분류 체계를 수립한다. 또한, 미세조정 없이도 높은 정확도를 보이는 zero-shot LLM 기반 분류를 수행하여 가중치 F1 점수 0.9594를 달성하고, 과학적 타당성 및 검증 연구를 위한 파싱된 PDF를 포함한 개선된 버전인 WithdrarXiv - SciFy를 공개하며, 책임감 있는 데이터 공유 관행을 구현한다.

ABSTRACT

Retractions play a vital role in maintaining scientific integrity, yet systematic studies of retractions in computer science and other STEM fields remain scarce. We present WithdrarXiv, the first large-scale dataset of withdrawn papers from arXiv, containing over 14,000 papers and their associated retraction comments spanning the repository's entire history through September 2024. Through careful analysis of author comments, we develop a comprehensive taxonomy of retraction reasons, identifying 10 distinct categories ranging from critical errors to policy violations. We demonstrate a simple yet highly accurate zero-shot automatic categorization of retraction reasons, achieving a weighted average F1-score of 0.96. Additionally, we release WithdrarXiv-SciFy, an enriched version including scripts for parsed full-text PDFs, specifically designed to enable research in scientific feasibility studies, claim verification, and automated theorem proving. These findings provide valuable insights for improving scientific quality control and automated verification systems. Finally, and most importantly, we discuss ethical issues and take a number of steps to implement responsible data release while fostering open science in this area.

연구 동기 및 목표

• 컴퓨터 과학 및 STEM 분야에서 전인쇄본 저장소(예: arXiv)에 대한 체계적인 철거 연구의 부족을 해결하기 위해.
• 2024년 9월까지 arXiv 저장소 전체 역사를 아우르는 철수된 arXiv 논문과 그 철거 댓글을 포함한 종합적이고 대규모의 데이터셋을 구축하기 위해.
• 저자 제공 사유를 바탕으로 한 인간이 분석한 10개의 고유한 철거 사유 분류 체계를 개발하기 위해.
• 대규모 언어 모델이 철거 사유를 미세조정 없이 zero-shot으로 어떻게 효과적으로 분류할 수 있는지 평가하기 위해.
• WithdrarXiv - SciFy를 공개하여, 전체 텍스트 PDF를 파싱한 자료를 포함한 개선된 데이터셋을 제공함으로써 과학적 타당성, 주장 검증, 자동 정리 증명 연구를 지원하기 위해.

제안 방법

• arXiv.org와의 협력으로 arXiv 전인쇄본 ID를 전수 수확하여 총 16,460건을 확보하고, 중복 제거를 통해 14,000건의 고유한 철수 논문으로 정리하였다.
• 저자 기재 사유를 수집하고 분석하여 사실 오류, 방법론적 결함, 완료되지 않은 작업 등을 포함한 10개 카테고리의 철거 사유 분류 체계를 수립하였다.
• 모델의 인라인 학습 능력을 활용하여 미세조정 없이도 zero-shot 프롬프팅을 적용한 대규모 언어 모델을 활용해 철거 사유를 자동으로 분류하였다.
• 반복적인 검토와 개선을 통해 분류 체계의 일관성과 정확성을 확보하기 위한 철저한 데이터 정제 파이프라인을 구현하였다.
• 과학적 타당성 및 검증 연구를 위한 후속 연구를 가능하게 하기 위해, 1,000건의 선택된 논문에 대해 전체 텍스트 PDF를 파싱하는 스크립트를 포함하여 데이터셋을 확장하였다.
• 최근의 AI 윤리 연구 및 '잊혀질 권리' 원칙을 기반으로, 익명화, 액세스 제어, 저자 개인정보 보호 조치를 포함한 책임감 있는 데이터 공개 관행을 적용하였다.

실험 결과

연구 질문

• RQ1 arXiv에서 전인쇄본이 철수되는 가장 흔한 이유는 무엇이며, 전통적인 학술 저널의 철거와는 어떻게 다를까?
• RQ2 대규모 언어 모델이 높은 정확도로 철거 사유를 미세조정 없이 zero-shot으로 분류할 수 있는 정도는 어느 정도일까?
• RQ3 철수된 전인쇄본의 파싱된 전체 텍스트 PDF는 자동 과학적 타당성 및 주장 검증 시스템의 향상에 어떻게 활용될 수 있을까?
• RQ4 철수된 과학적 논문 데이터셋을 공개할 때 발생하는 윤리적 및 개인정보 보호 과제는 무엇이며, 이를 어떻게 책임감 있게 완화할 수 있을까?
• RQ5 arXiv에서 과학 분야 간 철수 패턴은 어떻게 다를지, 시간에 따라 어떤 추세가 나타나는가?

주요 결과

• 2024년 9월까지 arXiv 전체 역사를 아우르는 14,000건의 고유한 철수된 전인쇄본과 관련된 철거 댓글이 포함된 데이터셋이 확보되었다.
• 사실 오류나 방법론적 결함이 가장 흔한 사유로 37%를 차지했으며, 완료되지 않은 작업은 19%의 철수 비율을 차지하였다.
• zero-shot LLM 분류는 가중치 F1 점수 0.9594를 기록하여, 미세조정 없이도 매우 높은 정확도를 입증하였다.
• arXiv에서 가장 흔한 철거 사유는 생물의학 분야와 현저히 다름을 보였으며, 특히 컴퓨터 과학 분야에선 오류와 미완성 작업이 지배적이다.
• WithdrarXiv - SciFy는 일부 논문의 파싱된 전체 텍스트 PDF를 포함하여 공개되었으며, 향후 자동 과학 검증 및 타당성 검사 연구를 가능하게 하였다.
• 익명화, 액세스 제어 등 개인정보 보호 조치를 포함한 책임감 있는 데이터 공개 관행이 성공적으로 구현되어, 기능성과 윤리적 고려 사항의 균형을 확보하였다.