[논문 리뷰] Can your paper evade the editors axe? Towards an AI assisted peer review system

Tirthankar Ghosal, Rajeev Verma외 7명|arXiv (Cornell University)|2018. 02. 05.

Advanced Text Analysis Techniques인용 수 1

한 줄 요약

이 논문은 범위를 초과하거나 품질이 낮아 심사 거절된 논문을 식별함으로써 심사 거절를 자동화하는 AI 보조 동료 심사 시스템을 제안한다. 关련 키워드 분석, 인용 패턴, 저자 명성, 수락된 논문과의 유사성에서 유도된 특징 공학을 활용하여, 지도 학습을 적용함으로써 세 개의 저널에서 유망한 성과를 달성한다.

ABSTRACT

This work is an exploratory study of how we could progress a step towards an AI assisted peer- review system. The proposed approach is an ambitious attempt to automate the Desk-Rejection phenomenon prevalent in academic peer review. In this investigation we first attempt to decipher the possible reasons of rejection of a scientific manuscript from the editors desk. To seek a solution to those causes, we combine a flair of information extraction techniques, clustering, citation analysis to finally formulate a supervised solution to the identified problems. The projected approach integrates two important aspects of rejection: i) a paper being rejected because of out of scope and ii) a paper rejected due to poor quality. We extract several features to quantify the quality of a paper and the degree of in-scope exploring keyword search, citation analysis, reputations of authors and affiliations, similarity with respect to accepted papers. The features are then fed to standard machine learning based classifiers to develop an automated system. On a decent set of test data our generic approach yields promising results across 3 different journals. The study inherently exhibits the possibility of a redefined interest of the research community on the study of rejected papers and inculcates a drive towards an automated peer review system.

연구 동기 및 목표

• 학술 동료 심사에서 심사 거절의 근본 원인을 규명하는 것.
• 논문의 범위 불일치 또는 낮은 품질로 인한 심사 거절 여부를 예측할 수 있는 자동화된 시스템을 개발하는 것.
• 키워드 관련성, 인용 분석, 저자/소속 기관 명성, 수락된 논문과의 유사성 등의 다수 특징을 통합하여 통합 예측 모델을 구축하는 것.
• 실제 저널 데이터를 기반으로 한 기계 학습을 통해 초기 단계의 논문 스크리닝 자동화의 가능성을 평가하는 것.

제안 방법

• 키워드 기반 의미 분석 및 이전에 수락된 논문과의 유사성 분석을 통해 논문의 범위와 관련된 특징을 추출한다.
• 인용 패턴을 분석하여 인용된 논문들의 학술적 영향력과 관련성을 평가한다.
• 저자 및 소속 기관의 명성 지표를 통합하여 논문의 신뢰성을 추정한다.
• 내용 유사성 기반으로 논문을 군집화하여 이질적 또는 범위 불일치하는 제출물을 식별한다.
• 라벨이 부여된 데이터를 기반으로 지도 학습 분류기를 훈련시어 심사 거절 결과를 예측한다.
• 다양한 특징을 통합하여 심사 거절 가능성에 따라 논문을 순위 매기는 통합 스코어링 시스템을 구성한다.

실험 결과

연구 질문

• RQ1 학술 동료 심사에서 심사 거절의 주요 이유는 무엇인가?
• RQ2 기계 학습을 통해 논문 특징을 바탕으로 심사 거절를 얼마나 정확히 예측할 수 있는가?
• RQ3 키워드 관련성, 인용 품질, 수락된 논문과의 유사성 등의 특징이 심사 거절 결정과 어떻게 상관관계가 있는가?
• RQ4 자동화된 시스템이 범위를 초과한 거절과 품질이 낮은 거절을 신뢰성 있게 구분할 수 있는가?

주요 결과

• 제안된 시스템은 세 개의 서로 다른 저널에서 심사 거절 예측에 뛰어난 성능을 보였다.
• 키워드 분석, 인용 패턴, 수락된 논문과의 유사성 등의 특징 통합이 예측 정확도를 크게 향상시켰다.
• NLP 및 기계 학습 기법을 조합하여 범위를 초과하거나 품질이 낮아 거절된 논문을 성공적으로 식별하였다.
• AI를 활용한 초기 단계의 논문 스크리닝 자동화의 가능성은 입증되었다.