[논문 리뷰] Anomalies in the peer-review system: A case study of the journal of High Energy Physics

Sandipan Sikdar, Matteo Marsili외 2명|arXiv (Cornell University)|2016. 08. 17.

Anomaly Detection Techniques and Applications참고 문헌 12인용 수 3

한 줄 요약

이 연구는 저널 오브 하이 에너지 페질(JHEP)의 부정확한 성과를 보이는 편집자와 심사위원을 식별하기 위해 동료 심사 이력과 인용 데이터를 사용하는 이상 탐지 프레임워크를 제안한다. 심사 빈도, 지연, 수용 비율, 심사위원 선정 패턴 등의 행동 특성에 대해 k-means 군집화를 적용함으로써, 편집자의 26.8%와 심사위원의 14.5%가 이례적인 것으로 규명되었으며, 이들의 수용된 논문은 상당히 적은 인용을 받고, 기각된 논문은 매우 높은 인용을 받는 것으로 나타났다.

ABSTRACT

Peer-review system has long been relied upon for bringing quality research to the notice of the scientific community and also preventing flawed research from entering into the literature. The need for the peer-review system has often been debated as in numerous cases it has failed in its task and in most of these cases editors and the reviewers were thought to be responsible for not being able to correctly judge the quality of the work. This raises a question "Can the peer-review system be improved?" Since editors and reviewers are the most important pillars of a reviewing system, we in this work, attempt to address a related question - given the editing/reviewing history of the editors or re- viewers "can we identify the under-performing ones?", with citations received by the edited/reviewed papers being used as proxy for quantifying performance. We term such review- ers and editors as anomalous and we believe identifying and removing them shall improve the performance of the peer- review system. Using a massive dataset of Journal of High Energy Physics (JHEP) consisting of 29k papers submitted between 1997 and 2015 with 95 editors and 4035 reviewers and their review history, we identify several factors which point to anomalous behavior of referees and editors. In fact the anomalous editors and reviewers account for 26.8% and 14.5% of the total editors and reviewers respectively and for most of these anomalous reviewers the performance degrades alarmingly over time.

연구 동기 및 목표

• 동료 심사 편집자와 심사위원의 이력적 심사 패턴과 인용 결과를 활용해 이상 행동을 탐지할 수 있는지 조사하기.
• 심사 빈도 과다 또는 보류 지연과 같은 특정 행동 지표가 심사 성과 부진과 관련이 있는지 규명하기.
• 측정 가능한 심사 행동과 인용 영향력을 바탕으로 편집자와 심사위원을 이례적 또는 정상으로 분류하는 비지도 프레임워크 개발하기.
• 이례적인 심사위원의 장기적 성과 추세를 평가하여, 특히 그들의 품질이 시간이 지남에 따라 악화되는지 여부 분석하기.

제안 방법

• 1997~2015년 기간 동안의 29,000편의 JHEP 논문 데이터셋을 구축함(편집자 95명, 심사위원 4,035명 포함), 심사 이력 및 인용 수 포함.
• 편집자에 대한 4개 행동 특성 정의: 할당 빈도(MEAT), 심사위원 다양성(RDI), 자기 할당 비율(RADI), 자기 심사 여부(SRI).
• 심사위원에 대한 7개 행동 특성 정의: 심사 빈도(MRAT), 심사 속도(MRSD), 통보 지연 시간(TDI), 편집자 다양성(EDI), 수용 비율(AR), 기각 거부 지연 시간(MTD), 기각 빈도(DFI).
• 행동 특성 벡터를 기반으로 이론적 군집 수 k=2를 사용한 k-means 군집화를 적용하여 편집자와 심사위원을 이례적 및 정상 그룹으로 분류.
• 수용된 논문과 기각된 논문의 인용 수를 성과의 대체 지표로 사용하여, 이례적 그룹과 정상 그룹 간 누적 인용 분포 비교.
• 이례적인 심사위원이 수용한 논문의 시간적 인용 추세를 분석하여 성과 저하 경향을 프로파일링함.

실험 결과

연구 질문

• RQ1 편집자와 심사위원의 어떤 행동 패턴이 이례적인 동료 심사 성과를 나타내는가?
• RQ2 이례적인 심사위원과 편집자가 수용된 논문의 인용 수가 낮고 기각된 논문의 인용 수가 높은 데까지 어느 정도 관련이 있는가?
• RQ3 이례적인 심사위원의 성과는 시간이 지남에 따라 어떻게 변화하는가? 특히 그들이 수용한 논문의 인용 추세 측면에서 분석하기.
• RQ4 비지도 군집화 기법이 심사 이력과 인용 데이터를 활용해 성과 부진 편집자와 심사위원를 효과적으로 구분할 수 있는가?

주요 결과

• k-means 군집화를 통해 JHEP의 편집자 26.8%와 심사위원 14.5%가 행동 특성 기반으로 이례적이라고 분류됨.
• 이례적인 편집자에게 수용된 논문은 정상 편집자에게 수용된 논문보다 평균적으로 상당히 적은 인용을 받음.
• 이례적인 심사위원이 기각한 논문은 정상 심사위원이 기각한 논문보다 유의미하게 더 많은 인용을 받았으며, 이는 고영향력 논문의 누락 가능성을 시사함.
• 이례적인 심사위원 중 42.5%는 시간이 지남에 따라 지속적인 인용 성과 저하를 보였고, 22.6%는 초반에는 잘했지만 나중에 성과가 악화됨.
• 이례적인 심사위원이 수용한 논문의 누적 인용 분포는 정상 심사위원과 비교해 통계적으로 유의미한 감소를 보임.
• 자주 기각하거나 기각 지연을 하는 심사위원, 매우 높거나 낮은 수용 비율을 보이는 심사위원, 또는 한 명 또는 소수의 편집자로부터만 할당받는 심사위원일수록 이례적이라고 분류될 가능성이 높음.