[논문 리뷰] Arbitrariness of peer review: A Bayesian analysis of the NIPS experiment

Olivier François|arXiv (Cornell University)|2015. 07. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 12

한 줄 요약

이 논문은 NIPS 동료 평가 실험을 분석하기 위해 베이지안 통계 모델링을 적용하며, 기본 품질 기준을 충족하는 논문 비율을 나타내는 은닉 변수를 도입한다. 분석 결과, 56%의 논문이 품질 기준을 충족함을 확인하였고(95% 신뢰구간: 0.34–0.83), 이 비율로 수용률을 높이면 동료 평가의 임의성을 줄일 수 있다.

ABSTRACT

The principle of peer review is central to the evaluation of research, by ensuring that only high-quality items are funded or published. But peer review has also received criticism, as the selection of reviewers may introduce biases in the system. In 2014, the organizers of the ``Neural Information Processing Systems q q{} conference conducted an experiment in which $10\%$ of submitted manuscripts (166 items) went through the review process twice. Arbitrariness was measured as the conditional probability for an accepted submission to get rejected if examined by the second committee. This number was equal to $60\%$, for a total acceptance rate equal to $22.5\%$. Here we present a Bayesian analysis of those two numbers, by introducing a hidden parameter which measures the probability that a submission meets basic quality criteria. The standard quality criteria usually include novelty, clarity, reproducibility, correctness and no form of misconduct, and are met by a large proportions of submitted items. The Bayesian estimate for the hidden parameter was equal to $56\%$ ($95\%$CI: $ I = (0.34, 0.83)$), and had a clear interpretation. The result suggested the total acceptance rate should be increased in order to decrease arbitrariness estimates in future review processes.

연구 동기 및 목표

• NIPS 실험 데이터에 대한 베이지안 추론을 통해 동료 평가의 임의성 정도를 정량화하기 위해.
• 기본 품질 기준(예: 독창성, 정확성, 재현 가능성)을 충족하는 논문의 은닉 비율을 추정하기 위해.
• 일단 품질을 선별한 후 임의로 수용하는 이중단계 평가 모델이 단일단계 모델보다 관측된 데이터를 더 잘 설명하는지 평가하기 위해.
• 향후 동료 평가 과정에서 총 수용률을 높임으로써 임의성이 감소할 수 있는지 평가하기 위해.
• 고품질 논문의 분포에 대한 다양한 가정 하에서의 모델 적합도를 비교하기 위해.

제안 방법

• 기본 품질 기준을 충족하는 논문 비율을 나타내는 은닉 변수 x와 품질이 확보된 경우 수용될 확률 y를 포함한 '기각하거나 동전을 뒤집기(RFC)' 모델을 제안한다.
• 비정보적 사전분포를 사용하여 베이즈 정리에 따라 사후분포를 유도하며, 임의성은 a = 1 - π/x로 모델링한다.
• 고품질 논문 비율의 일부 α를 허용하는 확장된 RAFC 모델을 도입하며, α는 근사 베이지안 계산(ABC)을 통해 추정한다.
• 100,000회의 시뮬레이션을 사용한 ABC를 통해 사후분포를 샘플링하고, 다양한 α 값에 대한 모델 확률을 계산한다.
• 사후분포를 사용하여 x와 y의 신뢰구간을 계산하며, 95% 신뢰구간을 보고한다.
• 후행 모델 확률과 베이즈 요인을 사용하여 RAFC 모델이 RFC 모델보다 더 나은 적합도를 가지는지 평가한다.

실험 결과

연구 질문

• RQ1 기본 품질 기준을 충족하는 논문의 비율은 얼마이며, 이 추정치에 대한 불확실성은 어떠한가?
• RQ2 관측된 임의성(60%)은 논문의 잠재적 품질 수준과 어떻게 관련이 있는가?
• RQ3 일단 품질을 선별한 후 임의로 수용하는 이중단계 평가 모델이 단일단계 모델보다 NIPS 데이터를 더 잘 설명할 수 있는가?
• RQ4 고품질 논문 비율 α의 어떤 값이 데이터에 가장 잘 맞는가? 이는 모델 성능에 어떤 영향을 미치는가?
• RQ5 예상 품질 기준 수준에 맞춰 총 수용률을 높이면 동료 평가의 임의성이 감소할 수 있는가?

주요 결과

• 기본 품질 기준을 충족하는 논문 비율에 대한 베이지안 추정치는 56%이며, 95% 신뢰구간은 (0.34, 0.83)이다.
• 관측된 60%의 임의성은 오직 56%의 논문만 최소 품질 기준을 충족하는 모델과 일치한다.
• α = 5%인 RAFC 모델이 시험한 값들 중에서 가장 뛰어난 적합도를 보였으며, 후행 모델 확률은 26%였다.
• RFC 모델과의 쌍대 비교에서 베이즈 요인은 1.31이었으며, 이는 RAFC 모델에 대한 다소 약한 증거를 의미한다.
• 총 수용률을 56%로 높이면 이론적으로는 임의성이 거의 0에 수렴할 것이며, 이는 품질 기준이 충족된다고 가정할 때이다.
• 결과적으로, 품질 선별과 최종 선정을 분리함으로써 동료 평가 과정을 단순화하고, 평가자 부담과 임의성을 줄일 수 있다.