[논문 리뷰] Peer Reviews of Peer Reviews: A Randomized Controlled Trial and Other Experiments

Alexander Goldberg, Ivan Stelmakh외 5명|arXiv (Cornell University)|2023. 11. 16.

Expert finding and Q&A systems인용 수 7

한 줄 요약

이 연구는 2022년 NeurIPS에서의 동료 평가 품질 평가의 신뢰성을 랜덤화된 통제 실험과 관찰 분석을 통해 조사한다. 평가 길이와 저자 결과에 대한 중대한 편향, 높은 평가자 간 이견, 잘못된 校정, 주관성 등이 발견되었으며, 이는 인간이 평가하는 평가의 일관성과 정확성이 떨어져, 인centives 설계와 간 interventions 평가에 활용하는 데에 문제가 있음을 시사한다.

ABSTRACT

Is it possible to reliably evaluate the quality of peer reviews? We study this question driven by two primary motivations -- incentivizing high-quality reviewing using assessed quality of reviews and measuring changes to review quality in experiments. We conduct a large scale study at the NeurIPS 2022 conference, a top-tier conference in machine learning, in which we invited (meta)-reviewers and authors to evaluate reviews given to submitted papers. First, we conduct a RCT to examine bias due to the length of reviews. We generate elongated versions of reviews by adding substantial amounts of non-informative content. Participants in the control group evaluate the original reviews, whereas participants in the experimental group evaluate the artificially lengthened versions. We find that lengthened reviews are scored (statistically significantly) higher quality than the original reviews. In analysis of observational data we find that authors are positively biased towards reviews recommending acceptance of their own papers, even after controlling for confounders of review length, quality, and different numbers of papers per author. We also measure disagreement rates between multiple evaluations of the same review of 28%-32%, which is comparable to that of paper reviewers at NeurIPS. Further, we assess the amount of miscalibration of evaluators of reviews using a linear model of quality scores and find that it is similar to estimates of miscalibration of paper reviewers at NeurIPS. Finally, we estimate the amount of variability in subjective opinions around how to map individual criteria to overall scores of review quality and find that it is roughly the same as that in the review of papers. Our results suggest that the various problems that exist in reviews of papers -- inconsistency, bias towards irrelevant factors, miscalibration, subjectivity -- also arise in reviewing of reviews.

연구 동기 및 목표

• 동료 평가 과정의 다양한 역할에서 인간이 평가하는 평가 품질의 신뢰성 평가
• 평가 품질 평가에 영향을 주는 편향(예: 평가 길이 또는 저자 결과)이 존재하는지 조사
• 동료 평가 품질 평가의 일관성, 校정, 주관성 평가
• 틀린 평가 품질 평가가 동료 평가의 인센티브 메커니즘과 실험적 간섭에 어떤 영향을 미치는지 검토
• 현재 동료 평가 평가 방법이 연구에서 '황금 표준'으로 간주될 수 있는지에 대한 증거 제공

제안 방법

• 2022년 NeurIPS에서 대규모 랜덤화된 통제 실험을 실시하여, 원본 평가와 비정보성 내용을 가진 인위적으로 길어진 버전의 평가를 비교
• 동일한 평가 세트에 대해 평가자, 메타 평가자, 저자가 평가를 제공하여 평가자 간 이견과 일관성 평가
• Mann-Whitney U 검정을 사용하여 조건 간 평가 점수 비교(예: 저자가 '수락' 또는 '기각'으로 평가한 경우), 길이 및 품질과 같은 혼란 변수를 통제
• 선형 모델을 사용하여 예측된 평가 품질 점수와 실제 성과를 비교하여 校정 오차 측정
• 개별 기준 점수에서 총 평가 품질 점수로의 매핑을 학습한 모델의 손실을 추정하여 주관성 정량화
• 관찰 데이터 분석을 통해 동일한 논문에 대해 '수락' 또는 '기각' 평가를 비교하여 저자 결과 편향 탐지

(a) Overall review quality score.

실험 결과

연구 질문

• RQ1 인위적으로 평가 길이를 늘리면 평가 품질에 대한 인식이 높아지나, 이는 무의미하게 긴 평가 편향을 시사하는가?
• RQ2 저자가 자신의 논문을 수락하도록 권고하는 평가에 대해 더 유리하게 평가하는가, 즉 저자 결과 편향이 존재하는가?
• RQ3 다양한 평가자 간 평가 품질 평가의 일관성은 어떠한가, 평가자 간 이견 수준은 어느 정도인가?
• RQ4 평가자들이 평가 품질 평가에서 얼마나 잘못된 校정을 보이는가?
• RQ5 개별 기준 점수에서 총 평가 품질 점수로의 매핑에 얼마나 많은 주관성이 존재하는가?

주요 결과

• 무의미하게 긴 평가 편향으로 인해 평가 품질에 대한 인식이 유의미하게 증가하였으며, 순위-이분상관계수 τ = 0.64 (p < 0.0001)로 나타나, 길어진 평가가 7점 척도에서 약 0.5점 높은 점수를 받았다.
• 저자는 자신의 논문을 수락하도록 권고하는 평가에 대해 강한 긍정 편향을 보였으며, τ = 0.82 (p < 0.0001)로 나타나, '기각' 평가를 평균 1.4점 낮게 평가했다.
• 평가 품질에 대한 평가자 간 이견 비율은 28%~32%로, NeurIPS에서 논문 품질 평가 시 관찰된 이견 비율과 유사했다.
• 평가자들은 논문 평가자들이 보이는 것과 유사한 수준의 잘못된 校정을 보였으며, 판단에 체계적인 오류가 있음을 시사했다.
• 개별 기준 점수에서 총 평가 품질 점수로의 매핑에 대한 주관성은 NeurIPS에서 논문 평가 평가 시 관찰된 것과 정량적으로 유사했다.
• 이러한 결과들은 동일한 결함—편향, 일관성 부족, 잘못된 校정, 주관성—이 논문 평가에 영향을 주는 것과 마찬가지로 평가 평가에도 영향을 준다는 것을 종합적으로 시사한다.

(b) Criteria scores.