[논문 리뷰] Avoiding a Tragedy of the Commons in the Peer Review Process

D. Sculley, Jasper Snoek외 1명|arXiv (Cornell University)|2018. 12. 18.

scientometrics and bibliometrics research참고 문헌 5인용 수 15

한 줄 요약

이 논문은 기계학습 분야의 동료 평가 제도를 개혁하기 위해 표준화된 평가 체계를 도입하고, 심사 품질을 보장하기 위해 재정적 보상—특히 심사당 1,000달러—을 제안함으로써 제출 수가 급증하는 상황에서 고질적이고 적시적인 평가를 유지하는 데 목적이 있다. 저자들은 이 접근 방식이 동료 평가를 전문 서비스로 간주함으로써 '공유 자원의 비극'을 방지하고, 일관성, 효율성, 심사자 동기를 향상시킨다고 주장한다.

ABSTRACT

Peer review is the foundation of scientific publication, and the task of reviewing has long been seen as a cornerstone of professional service. However, the massive growth in the field of machine learning has put this community benefit under stress, threatening both the sustainability of an effective review process and the overall progress of the field. In this position paper, we argue that a tragedy of the commons outcome may be avoided by emphasizing the professional aspects of this service. In particular, we propose a rubric to hold reviewers to an objective standard for review quality. In turn, we also propose that reviewers be given appropriate incentive. As one possible such incentive, we explore the idea of financial compensation on a per-review basis. We suggest reasonable funding models and thoughts on long term effects.

연구 동기 및 목표

• 기계학습 컨ferences의 제출 수가 기하급수적으로 증가함에 따라 발생하는 동료 평가의 지속 불가능한 부담을 해결하기 위해.
• 무급이고 표준화되지 않은 동료 평가의 남용이 평가 품질과 공동체 신뢰를 악화시키는 '공유 자원의 비극'을 방지하기 위해.
• 평가 품질 평가를 위한 객관적 체계를 도입함으로써 평가 품질과 일관성을 향상시키기 위해.
• 시장 수준의 보상, 예를 들어 심사당 1,000달러를 통해 고질적 평가를 유도하기 위해.
• 저품질 논문으로 인한 심사자 부담을 줄이기 위해 다단계 선별 체계를 도입하고, 심사 부담 기준을 재고하기 위해.

제안 방법

• 명확성, 독창성, 중요도, 기술적 타당성 등의 기준에 기반해 평가 품질을 평가할 수 있는 체크리스트 포함 7단계 평가 체계를 제안한다.
• 심사자에게 1시간당 250달러의 시장 수준 기준으로 4시간의 전문가 작업에 상당하는 1,000달러의 보상 지급을 제안함으로써 전문 기준과 인센티브를 일치시킨다.
• 심사자 보상 지원을 위한 자금 조달 방안으로 저자 공동 부담금, 후원, 기관 자금 등을 제안한다.
• 저품질 논문을 조기에 걸러내는 선별 체계를 도입해 불필요한 심사 부담을 줄이기 위해 권장한다.
• 심사자 시간이 재정적으로 가치가 있다고 간주될 경우 효율성을 높이기 위해 더 나은 심사 도구 개발을 장려한다.
• 보상이 제공될 경우 심사자가 자발적으로 더 많은 논문을 맡을 수 있으며, 이로써 유사한 제출물 간 깊이 있는 비교 분석이 가능해질 수 있다.

실험 결과

연구 질문

• RQ1 기계학습 컨퍼런스에서 동료 평가 품질을 객관적이고 표준화된 방식으로 측정할 수 있는 방법은 무엇인가?
• RQ2 심사자가 지속 가능하고 우선시되는 전문 활동이 되기 위해 어떤 수준의 재정 보상이 필요한가?
• RQ3 재정적 인센티브는 동료 평가 과정의 효율성과 공정성을 어떻게 향상시킬 수 있는가?
• RQ4 저품질 논문의 심사 부담을 줄이기 위해 어떤 구조적 변화가 필요할 수 있는가?
• RQ5 재정 보상이 심사자의 전문성, 참여도, 연구 문화에 장기적으로 어떤 영향을 미칠 수 있는가?

주요 결과

• 이전의 NeurIPS와 ICLR 심사 리뷰를 분석한 결과, 품질, 명확성, 독창성, 중요도의 네 가지 기준을 동시에 평가한 완전하고 고급 평가를 찾는 데 큰 어려움이 있었다.
• 2014년 NeurIPS 실험에서는 한 위원회가 수락한 거의 60%의 논문이 두 번째 독립 위원회에 의해 기각된 것으로 나타나, 심사 결과의 일관성 부족이 뚜렷하게 드러났다.
• 2018년 기준 NeurIPS에 제출된 1,366편의 논문 중 평균 점수가 4 이하인 논문들이 4,000건 이상의 심사를 소비했으며, 이는 거의 700명의 심사자 전용 심사 능력에 상당하는 수준이었고, 거의 확실하게 기각될 것이므로 불필요한 부담이었다.
• 저자들은 고급 평가가 최소 4시간의 전문가 시간이 필요하다고 추정하며, 이는 ML 컨ulting 시장에서 1시간당 250달러의 수준에 상응하므로 심사당 1,000달러의 보상 수준이 타당하다고 주장한다.
• 재정 보상은 심사자를 다른 요구 사항보다 우선시하도록 유도하고, 경험 부족 심사자에 대한 의존도를 줄이며, 일관성을 향상시킬 수 있다.
• 보상이 있는 전문적 심사로의 전환은 경험이 많은 심사자가 더 많은 논문을 맡을 수 있도록 하여, 유사한 제출물 간의 보다 정교하고 깊이 있는 평가가 가능해질 수 있다.