[논문 리뷰] Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review

Ivan Stelmakh, Nihar B. Shah외 2명|arXiv (Cornell University)|2020. 11. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 61인용 수 7

한 줄 요약

이 연구는 133명의 리뷰어와 19篇의 논문을 활용한 무작위 대조 시험을 통해 초보 리뷰어들이 이전에 기각된 논문을 더 혹독하게 평가하는 경향(재제출 편향)을 보이는지 조사한다. 분석 결과, 리뷰어들은 10점 척도에서 평균 0.78점 낮은 점수를 부여하며, 특히 품질 평가 항목에서 가장 뚜렷한 영향을 받는 것으로 나타나, 측정 가능한 부정적 편향이 존재함을 시사한다.

ABSTRACT

Modern machine learning and computer science conferences are experiencing a surge in the number of submissions that challenges the quality of peer review as the number of competent reviewers is growing at a much slower rate. To curb this trend and reduce the burden on reviewers, several conferences have started encouraging or even requiring authors to declare the previous submission history of their papers. Such initiatives have been met with skepticism among authors, who raise the concern about a potential bias in reviewers' recommendations induced by this information. In this work, we investigate whether reviewers exhibit a bias caused by the knowledge that the submission under review was previously rejected at a similar venue, focusing on a population of novice reviewers who constitute a large fraction of the reviewer pool in leading machine learning and computer science conferences. We design and conduct a randomized controlled trial closely replicating the relevant components of the peer-review pipeline with $133$ reviewers (master's, junior PhD students, and recent graduates of top US universities) writing reviews for $19$ papers. The analysis reveals that reviewers indeed become negatively biased when they receive a signal about paper being a resubmission, giving almost 1 point lower overall score on a 10-point Likert item ($Δ= -0.78, \ 95\% \ ext{CI} = [-1.30, -0.24]$) than reviewers who do not receive such a signal. Looking at specific criteria scores (originality, quality, clarity and significance), we observe that novice reviewers tend to underrate quality the most.

연구 동기 및 목표

• 초보 리뷰어들이 회의 동료평가 과정에서 재제출 논문에 대해 편향을 보이는지 조사하기.
• 실제 리뷰어와 실제 논문을 활용한 통제 실험을 통해 이 편향의 크기를 측정하기.
• 재제출 신호가 원창성, 품질, 명료성, 중요성과 같은 특정 평가 기준에 어떻게 영향을 미치는지 분석하기.
• 리뷰어들이 인지적 노력을 기울였음에도 불구하고 이전 기각 이력의 존재가 리뷰어 판단에 영향을 미치는지 평가하기.
• 회의 조직자들이 재제출 공개 정책의 공정성과 설계를 평가할 수 있도록 실증적 근거를 제공하기.

제안 방법

• 상위 미국 대학의 대학원생, 신임 박사과정, 최근 졸업자들로 구성된 133명의 초보 리뷰어를 대상으로 무작위 대조 시험을 실시하였다.
• 이전 회의에서 실제 사용된 19篇의 논문을 활용하여, 각 논문을 두 그룹으로 배정: 기각 이력이 알려진 그룹(재제출 조건), 알려지지 않은 그룹(기준 조건).
• 조건 간에 동일한 논문 내용과 리뷰 지침을 유지하여 재제출 신호의 영향만을 분리해내었다.
• 10점 리커트 척도를 사용해 총점과 원창성, 품질, 명료성, 중요성의 네 가지 기준에 대해 133건의 완전한 리뷰를 수집하고 분석하였다.
• 편향의 크기와 유의성을 추정하기 위해 통계 분석(95% 신뢰구간)을 적용하였다.
• 리뷰어 경험과 논문 특성 등을 통제하여 재제출 신호의 영향만을 고립시켰다.

실험 결과

연구 질문

• RQ1 논문이 이전에 기각된 바가 있다는 지식이 리뷰어 점수에 측정 가능한 하락을 유도하는가?
• RQ2 재제출 신호는 품질, 원창성, 명료성 등의 다양한 평가 기준에 어떻게 영향을 미치는가?
• RQ3 이 편향은 다양한 유형의 초보 리뷰어 간 일관된가, 아니면 경험 수준에 따라 달라지는가?
• RQ4 리뷰어들이 인지적 노력을 기울였음에도 불구하고 이전 기각 이력의 존재가 합리적 평가를 초월해 판단에 영향을 미치는 정도는 어느 정도인가?
• RQ5 이 편향은 동료평가에서 알려진 다른 인지적 편향과 비교해 어떻게 다를까?

주요 결과

• 기각 이력이 알려진 리뷰어들은 기각 이력 정보를 받지 않은 리뷰어들보다 10점 척도에서 평균 0.78점 낮은 총점 평가를 내렸다.
• 점수 차이에 대한 95% 신뢰구간은 [-1.30, -0.24]였으며, 이는 편향이 통계적으로 유의미하다는 것을 확인한다.
• 평가 항목 중 가장 뚜렷한 점수 하락은 '품질' 기준에서 발생했으며, 이는 재제출 이후 논문의 기술적 또는 방법론적 타당성에 대해 리뷰어들이 가장 회의적이라는 것을 시사한다.
• 리뷰어들이 상세하고 성찰적인 리뷰를 작성했고 전문가 평가자들에 의해 능력 있는 리뷰어로 평가되었음에도 불구하고 이 편향이 지속되었으며, 이는 노력 부족 때문이 아니라는 것을 시사한다.
• 효과 크기는 상당히 크며, 재제출 신호 자체가 리뷰어 점수의 변동성의 의미 있는 부분을 설명한다.
• 결과적으로, 과거 기각 이력의 단순한 지식만으로도 체계적인 부정적 편향이 유도되며, 이는 이전 리뷰나 저자 설명이 공유되지 않은 상태에서도 발생한다.