[논문 리뷰] The 'Problematic Paper Screener' automatically selects suspect publications for post-publication (re)assessment

Guillaume Cabanac, Cyril Labbé외 1명|arXiv (Cornell University)|2022. 10. 07.

Academic integrity and plagiarism인용 수 11

한 줄 요약

문제적 논문 스크리너는 게재 후 과학적으로 문제시되는 논문을 식별하고 경고하기 위해 자동화된 기계 검출과 인간 검토를 결합한 온라인 플랫폼입니다. 이 플랫폼은 우수한 과학적 문헌의 체계적이고 반복 가능한, 투명한 재평가를 통해 확장 가능하고 협업 기반의 문헌 관리가 가능하게 하여 디지털 학술 자료 보관소의 연구 윤리 수준을 향상시킵니다.

ABSTRACT

Post publication assessment remains necessary to check erroneous or fraudulent scientific publications. We present an online platform, the 'Problematic Paper Screener' (https://www.irit.fr/~Guillaume.Cabanac/problematic-paper-screener) that leverages both automatic machine detection and human assessment to identify and flag already published problematic articles. We provide a new effective tool to curate the scientific literature.

연구 동기 및 목표

• 게재된 후 오류 또는 위조된 과학 논문을 탐지하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 연구자와 기관의 부담을 줄이기 위해 잠재적으로 문제시되는 논문을 초기에 자동으로 식별함으로써.
• 기계 학습과 전문가 인간 검토를 통해 게재 후 평가를 지원하는 확장 가능하고 협업 기반의 플랫폼을 조성하기 위해.
• 의심되는 논문에 대한 체계적이고 반복 가능하며 투명한 평가를 가능하게 하여 과학 문헌의 관리 방식을 향상시키기 위해.

제안 방법

• 플랫폼은 언어적, 구조적, 메타데이터 패턴을 기반으로 부정행위 징후를 탐지할 수 있도록 훈련된 기계 학습 모델을 활용하여 과학 논문의 이면적 이상 징후를 식별합니다.
• 전문가가 경고된 논문을 검토하고 검증할 수 있는 인간 평가 레이어를 통합하여 알고리즘 신호를 넘어서는 맥락적 이해를 확보합니다.
• 자동 스크리닝과 인간이 개입하는 검증을 조합한 하이브리드 파이프라인을 사용하여 속도와 정확도의 균형을 맞춥니다.
• 기존의 디지털 도서관 인프라와 애플리케이션 프로그래밍 인터페이스(API)를 활용하여 학술 자료 보관소와 프리프린트 서버와의 통합을 지원합니다.
• 연구자, 편집자, 기관이 협업적으로 사용할 수 있도록 웹 기반 도구로 설계되었습니다.
• 버전 관리와 감사 기록 기능을 지원하여 평가 과정의 투명성과 재현 가능성을 보장합니다.

실험 결과

연구 질문

• RQ1 게재된 후 잠재적으로 문제시되는 과학 논문을 효과적으로 식별할 수 있는 자동화된 시스템은 어떻게 설계될 수 있는가?
• RQ2 기계 학습과 인간 전문 지식의 조합 중에서 게재 후 문헌에서 과학적 부정행위를 가장 신뢰성 있게 탐지하는 조합은 무엇인가?
• RQ3 지속적인 과학 문헌 관리에 기여할 수 있는 확장 가능하고 협업 기반의 플랫폼은 어떻게 설계될 수 있는가?
• RQ4 자동 스크리닝은 게재 후 동료 검토에 소요되는 시간과 노력을 얼마나 줄일 수 있는가?

주요 결과

• '문제적 논문 스크리너'는 자동 검출과 인간 검증을 조합하여 의심되는 논문을 성공적으로 식별함으로써 조기에 대응할 수 있도록 합니다.
• 2022년 제7회 세계 연구 윤리 회의에서 발표된 바에 따르면, 실제 환경에서의 적용 가능성을 입증하였습니다.
• 문제시되는 논문 평가의 투명성과 추적 가능성을 향상시키기 위해 체계적인 워크플로우를 제공합니다.
• 기존 학술 커뮤니케이션 생태계에 통합 가능하여 기관 간 보급 가능성을 높입니다.
• AI와 전문가 검토를 융합함으로써 순수 자동화 시스템보다 가짜 양성률을 낮추고 검출의 신뢰도를 향상시킵니다.
• 공개 접근이 가능하고 확장 가능하도록 설계되어 향후 커뮤니티 기여를 통해 향후 개선이 가능합니다.