[論文レビュー] WithdrarXiv: A Large-Scale Dataset for Retraction Study

Delip Rao, Jonathan Young+2 more|arXiv (Cornell University)|Dec 4, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、14,000件を超える撤回済みarXivプレプリントと関連する取消コメントを備えた、初めての大規模データセットであるWithdrarXivを紹介する。著者による説明を分析することで、10カテゴリの取消理由の分類法を開発し、ファインチューニングを行わないゼロショットLLMベースの分類を実施。F1スコアは0.9594を達成。さらに、科学的妥当性や検証研究を目的とした、パーストPDFを含む拡張版であるWithdrarXiv - SciFyをリリース。責任あるデータ共有の実践も実施。

ABSTRACT

Retractions play a vital role in maintaining scientific integrity, yet systematic studies of retractions in computer science and other STEM fields remain scarce. We present WithdrarXiv, the first large-scale dataset of withdrawn papers from arXiv, containing over 14,000 papers and their associated retraction comments spanning the repository's entire history through September 2024. Through careful analysis of author comments, we develop a comprehensive taxonomy of retraction reasons, identifying 10 distinct categories ranging from critical errors to policy violations. We demonstrate a simple yet highly accurate zero-shot automatic categorization of retraction reasons, achieving a weighted average F1-score of 0.96. Additionally, we release WithdrarXiv-SciFy, an enriched version including scripts for parsed full-text PDFs, specifically designed to enable research in scientific feasibility studies, claim verification, and automated theorem proving. These findings provide valuable insights for improving scientific quality control and automated verification systems. Finally, and most importantly, we discuss ethical issues and take a number of steps to implement responsible data release while fostering open science in this area.

研究の動機と目的

• コンピュータサイエンスおよびSTEM分野において、特にarXivのようなプレプリントリポジトリにおける、体系的な取消研究の不足に応えること。
• 2024年9月までのarXivリポジトリ全期間にわたる、撤回済みarXiv論文およびその取消コメントを含む包括的かつ大規模なデータセットの構築。
• 著者から提供された根拠に基づき、10の明確に区別できる取消理由の分類法を人為的アノテーションで開発すること。
• 大規模言語モデル（LLM）が、ファインチューニングなしで取消理由をゼロショットで分類する効果性を評価すること。
• パーストPDFをパーストしたフルテキストを含む拡張データセットであるWithdrarXiv - SciFyをリリースし、科学的妥当性や主張の検証、自動定理証明の研究を支援すること。

提案手法

• arXiv.orgと協働して、すべての撤回済みarXiv IDを収集し、16,460件のエントリを取得。その後、重複除去処理により14,000件の固有の撤回済み論文に集約。
• 著者から提供された取消コメントを収集・分析し、事実誤認、方法論的欠陥、未完了作業などを含む10カテゴリの取消理由分類法を構築。
• ファインチューニングを行わず、モデルの文脈内学習を活用して、ゼロショットプロンプティングを用いて自動的に取消理由を分類。
• 反復的レビューと精練を通じて検証された、一貫性と正確性を確保する厳密なデータキュレーションパイプラインを実装。
• WithdrarXiv - SciFyとして、1,000件の選択論文のフルテキストPDFをパーストするスクリプトを追加し、科学的妥当性や検証研究を支援。
• AI倫理に関する最近の研究および「忘れられる権利」の原則を踏まえ、匿名化、アクセス制御、著者プライバシー保護を含む責任あるデータリリース実践を実施。

実験結果

リサーチクエスチョン

• RQ1 arXivにおけるプレプリントの撤回の主な理由は何か。また、伝統的な学術ジャーナルでの取消とはどのように異なるか。
• RQ2 大規模言語モデル（LLM）は、高い正確性を達成するために、ファインチューニングなしで取消理由をゼロショットで分類できるか。
• RQ3 撤回済みプレプリントのパーストPDFから得られるフルテキストを、自動化された科学的妥当性評価や主張検証システムの改善にどう活用できるか。
• RQ4 撤回済み科学的論文のデータセットをリリースする際に生じる倫理的・プライバシー的課題は何か。それらをどのように責任を持って軽減できるか。
• RQ5 arXivにおける撤回のパターンは、科学的分野ごとにどのように異なり、時間経過とともにどのような傾向が現れるか。

主な発見

• 2024年9月までのarXivの全歴史にわたる14,000件の固有の撤回済みプレプリントと、関連する取消コメントを含むデータセットが構築された。
• 事実誤認や方法論的欠陥が最も一般的な理由（37％）であり、未完了作業が19％を占める10カテゴリの包括的分類法が開発された。
• ゼロショットLLM分類は、ファインチューニングなしで重み付き平均F1スコア0.9594を達成し、高い正確性を示した。
• arXivにおける最も一般的な取消理由は、生物学的分野とは顕著に異なり、特にコンピュータサイエンス分野では誤りと未完了作業が支配的である。
• パーストPDFを含む拡張版であるWithdrarXiv - SciFyがリリースされ、今後の自動科学的妥当性評価や主張検証の研究を可能にした。
• プライバシー保護措置とアクセス制御を含む責任あるデータリリース実践が成功裏に実施され、利便性と倫理的懸念の両立が達成された。