[논문 리뷰] Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment

Corinna Cortes, Neil D. Lawrence|arXiv (Cornell University)|2021. 09. 20.

Artificial Intelligence in Healthcare and Education인용 수 15

한 줄 요약

이 논문은 2014년 NeurIPS 동료 평가 실험을 재검토하여, 평가자 점수 변동의 50%가 객관적 품질이 아닌 주관적 판단에서 기인한다는 것을 발견했다. 수락된 논문의 경우 품질 점수와 인용 영향력 간 상관관계가 없지만, 기각된 논문의 경우 유의미한 상관관계가 있음을 보여, 평가자들이 열등한 논문을 더 잘 식별하지만 뛰어난 논문을 식별하는 데는 부족하다는 것을 시사한다. 저자들은 명확한 평가 기준 도입을 주장하며, 주관성을 제거하려는 시도를 경계하고, 연구자 평가에서 '최상위 컨fer런스'의 지위에 과도하게 의존하는 것을 줄일 것을 당부한다.

ABSTRACT

In this paper we revisit the 2014 NeurIPS experiment that examined inconsistency in conference peer review. We determine that 50\% of the variation in reviewer quality scores was subjective in origin. Further, with seven years passing since the experiment we find that for \emph{accepted} papers, there is no correlation between quality scores and impact of the paper as measured as a function of citation count. We trace the fate of rejected papers, recovering where these papers were eventually published. For these papers we find a correlation between quality scores and impact. We conclude that the reviewing process for the 2014 conference was good for identifying poor papers, but poor for identifying good papers. We give some suggestions for improving the reviewing process but also warn against removing the subjective element. Finally, we suggest that the real conclusion of the experiment is that the community should place less onus on the notion of `top-tier conference publications' when assessing the quality of individual researchers. For NeurIPS 2021, the PCs are repeating the experiment, as well as conducting new ones.

연구 동기 및 목표

• 2014년 NeurIPS 동료 평가 실험을 재분석하여 평가자 점수에서 주관성의 역할을 평가하기 위해.
• 평가자 품질 점수와 장기적 논문 영향력(인용 수로 측정) 간 상관관계가 있는지 평가하기 위해.
• 기각된 논문의 최종 발표 경로를 추적하여, 그들의 점수가 향후 영향력을 예측할 수 있는지 평가하기 위해.
• 동료 평가가 높은 영향력을 가진 연구를 신뢰성 있게 식별할 수 있는지 평가하고, 향후 개선 방안을 제안하기 위해.
• 연구자 품질을 평가하는 데 있어 최상위 컨퍼런스 발표 이력을 지나치게 의존하는 데 도전하기 위해.

제안 방법

• 저자들은 2014년 NeurIPS 실험에서 확보한 校정된 평가자 점수를 활용하여, 시뮬레이션 연구를 통해 주관성의 정도를 정량화했다.
• Semantic Scholar에서 400편의 수락된 논문과 680편의 기각된 논문에 대한 인용 수를 수집하여 장기적 영향력을 측정했다.
• 수락된 논문과 기각된 논문 각각에 대해 校정된 품질 점수와 인용 수 간 상관관계를 분석했다.
• 개별 점수를 익명화하기 위해 차별적 프라이버시를 활용하여 시각화에서 개인 식별 가능성을 제거했다.
• 원래의 NeurIPS 2013 프레임워크에서 제공한 신뢰도 점수와 영향력 점수를 분석하여 예측 능력을 비교했다.
• Semantic Scholar에서 제목과 저자 일치를 통해 기각된 논문의 최종 발표 장소를 추적했다.

실험 결과

연구 질문

• RQ1 평가자 품질 점수의 변동 중 얼마나 많은 부분이 객관적 논문 품질이 아닌 주관적 해석에서 기인하는가?
• RQ2 NeurIPS 2014에 수락된 논문의 경우, 평가자 품질 점수와 장기적 인용 영향력 간에 통계적으로 유의미한 상관관계가 있는가?
• RQ3 더 높은 평가를 받은 기각된 논문이 더 많은 인용 수를 얻는가? 만약 그렇다면, 이는 평가자들이 열등한 논문을 더 잘 식별하지만 뛰어난 논문을 식별하는 데는 부족하다는 것을 의미하는가?
• RQ4 평가자들의 신뢰도 점수와 인용 수 간 상관관계는 어떻게 되며, 이는 인용 성공의 주요 요인을 어떻게 시사하는가?
• RQ5 컨퍼런스 동료 평가 과정이 높은 영향력을 가진 연구를 얼마나 신뢰성 있게 식별할 수 있으며, 예측 능력을 향상시키기 위해 어떤 개선 조치가 가능한가?

주요 결과

• 평가자 품질 점수의 변동 중 50%가 객관적 논문 품질이 아닌 주관적 해석에서 기인했다.
• NeurIPS 2014에 수락된 논문의 경우 평가자 품질 점수와 인용 영향력 간 통계적으로 유의미한 상관관계가 없었다.
• 기각된 논문의 경우 더 높은 평가자 품질 점수와 더 높은 인용 수 간에 유의미한 상관관계가 있었으며, 이는 평가자들이 열등한 논문을 효과적으로 식별했다는 것을 시사한다.
• 신뢰도 점수와 인용 수 간 상관관계는 중간 정도였지만 통계적으로 유의미했다(r = 0.25), 이는 신뢰도 점수가 표현의 명확성이나 우아함을 반영할 수 있음을 시사한다.
• 수락된 논문의 평균 인용 수는 기각된 논문보다 높았지만, 이는 초반의 품질 점수로 예측되지 않았다.
• 이 연구는 동료 평가 과정이 낮은 품질의 연구를 걸러내는 데 효과적이지만, 높은 영향력을 가진 연구를 신뢰성 있게 식별하지 못한다는 결론을 내린다.