[論文レビュー] The 'Problematic Paper Screener' automatically selects suspect publications for post-publication (re)assessment

Guillaume Cabanac, Cyril Labbé+1 more|arXiv (Cornell University)|Oct 7, 2022

Academic integrity and plagiarism被引用数 11

ひとこと要約

「Problematic Paper Screener」は、自動化された機械学習による検出と人的レビューを組み合わせたオンラインプラットフォームであり、出版後の科学的問題のある論文を特定・マークするのを目的としている。研究の整合性を高めるために、スケーラブルで協働的な文献のキュレーションを可能にし、懸念される論文を再評価の優先順位に据えることで、デジタル学術リポジトリにおける研究の整合性を強化する。

ABSTRACT

Post publication assessment remains necessary to check erroneous or fraudulent scientific publications. We present an online platform, the 'Problematic Paper Screener' (https://www.irit.fr/~Guillaume.Cabanac/problematic-paper-screener) that leverages both automatic machine detection and human assessment to identify and flag already published problematic articles. We provide a new effective tool to curate the scientific literature.

研究の動機と目的

• 出版後に誤りや不正な科学的論文を検出するという持続的な課題に対処すること。
• 研究者や機関の負担を軽減するため、問題のある可能性のある論文の初期特定を自動化すること。
• 機械学習と専門家の人的レビューの両方を活用することで、スケーラブルで協働的なプラットフォームを構築し、出版後の評価を支援すること。
• 系統的で繰り返し可能かつ透明性のある方法で、懸念される論文の評価を可能にすることで、科学的文献のキュレーションを改善すること。

提案手法

• 本プラットフォームは、言語的・構造的・メタデータのパターンに基づき、不正行動の兆候を示す科学的論文の異常を検出するように訓練された機械学習モデルを採用している。
• 専門家がフラッグされた論文をレビューし、検証することで、アルゴリズムの信号を超えた文脈的理解を保証する人的レビューのレイヤーを統合している。
• 自動スクリーニングに続く人間による確認（人間が関与するプロセス）というハイブリッドパイプラインを採用することで、スピードと正確性の両立を図っている。
• 既存のデジタル図書館インfraやアプリケーションプログラミングインターフェース（API）を活用し、学術リポジトリやプレプリントサーバーと統合できるようにしている。
• 研究者、編集者、機関が協働して利用可能なウェブベースのツールとして設計されている。
• バージョン管理と監査証跡をサポートすることで、評価プロセスの透明性と再現可能性を確保している。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、出版後に問題のある科学的論文を自動化されたシステムが効果的に特定できるか？
• RQ2 機械学習と人的専門知識のどの組み合わせが、出版後文献における科学的不正の検出において最も信頼性が高いか？
• RQ3 継続的な科学的文献のキュレーションを支援するため、スケーラブルで協働的なプラットフォームをどのように設計できるか？
• RQ4 自動スクリーニングは、出版後のピアレビューに要する時間と労力の削減にどのような役割を果たせるか？

主な発見

• 「Problematic Paper Screener」は、自動検出と人的検証を組み合わせることで、懸念される論文を効果的に特定し、早期対応を可能にしている。
• 2022年の第7回世界研究整合性会議での発表を通じて、実世界での実現可能性が裏付けられている。
• 問題のある論文の評価における透明性と追跡可能性を高める、構造化されたワークフローを提供している。
• 既存の学術コミュニケーションエコシステムへの統合を支援しており、機関間での導入可能性が高まっている。
• AIと専門家レビューを組み合わせることで、完全に自動化されたシステムに比べて誤検出を低減し、検出の信頼性を向上させている。
• 本プラットフォームは公開されており、拡張性を備えており、コミュニティの貢献によって将来的な改善が可能に設計されている。