[논문 리뷰] Design and Analysis of the NIPS 2016 Review Process

Nihar B. Shah, Behzad Tabibian외 3명|arXiv (Cornell University)|2017. 08. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 48

한 줄 요약

이 논문은 2,425篇의 제출, 3,242명의 심사위원, 13,674건의 심사 평가를 바탕으로 NIPS 2016의 동료 심사 과정을 분석하여 공정성, 캘리브레이션, 효율성을 평가한다. 순서형 랭킹과 그래프 기반 심사위원 배정을 제안하여 편향을 줄이고 일관성을 높이며, 심사위원 점수에 심각한 캘리브레이션 오차와 동점 점수 할당이 있음을 발견했고, 반론이 점수에 거의 영향을 주지 않는 것으로 나타났다.

ABSTRACT

Neural Information Processing Systems (NIPS) is a top-tier annual conference in machine learning. The 2016 edition of the conference comprised more than 2,400 paper submissions, 3,000 reviewers, and 8,000 attendees. This represents a growth of nearly 40% in terms of submissions, 96% in terms of reviewers, and over 100% in terms of attendees as compared to the previous year. The massive scale as well as rapid growth of the conference calls for a thorough quality assessment of the peer-review process and novel means of improvement. In this paper, we analyze several aspects of the data collected during the review process, including an experiment investigating the efficacy of collecting ordinal rankings from reviewers. Our goal is to check the soundness of the review process, and provide insights that may be useful in the design of the review process of subsequent conferences.

연구 동기 및 목표

• 빠른 컨퍼런스 성장 속에서 NIPS 2016 동료 심사 과정의 공정성, 일관성, 신뢰성을 평가하기 위해.
• 대규모 스케일에서의 심사위원 행동, 점수 캘리브레이션, 결론 도출 시 편향 문제를 특정하기 위해.
• 반론과 토론이 심사위원 점수와 결론에 미치는 영향을 평가하기 위해.
• 대규모 동료 심사에서 순서형 랭킹과 그래프 이론 기반 심사위원 배정의 타당성과 이점을 탐색하기 위해.
• 향후 컨퍼런스 심사 과정을 개선하기 위한 실행 가능한 통찰과 열린 문제 제시하기 위해.

제안 방법

• CMT에서 확보한 심사 후 데이터를 수집하고 분석하여 점수, 랭킹, 심사위원 코멘터리, 심사위원 참여 지표를 포함한다.
• 심사위원-논문 간 관계를 모델링하고 심사위원 배정을 최적화하기 위해 그래프 이론 기법을 적용한다.
• 심사위원이 제출한 순서형 랭킹 데이터를 활용하여 불일치를 탐지하고 동점 점수 할당을 줄인다.
• 초청된 시니어 심사위원과 자원봉사 심사위원 간 점수 분포와 분산을 비교한다.
• 반론 이후 심사위원 점수의 변화를 평가하여 심사위원의 반응성 여부를 분석한다.
• 심사위원 행동에 대한 사후 분석을 수행하여 자신감 수준과 토론 참여도를 포함한다.

실험 결과

연구 질문

• RQ1 심사위원이 점수 척도에서 얼마나 심각하게 캘리브레이션 오차를 보이며, 이는 결론의 공정성에 어떤 영향을 미치는가?
• RQ2 동점 점수 할당을 줄이고 심사위원 불일치를 탐지하는 데 있어 순서형 랭킹이 카디널 점수에 비해 얼마나 효과적인가?
• RQ3 반론과 토론이 심사위원 점수 수정에 어떤 영향을 미치며, 이는 심사위원 유형에 따라 달라지는가?
• RQ4 연구 분야나 심사위원 풀에 따라 수락률에 체계적인 편향이 존재하는가?
• RQ5 그래프 기반 심사위원 배정이 심사 품질 향상과 심사위원 작업량 불균형 완화에 기여하는가?

주요 결과

• 심사위원과 분야 책임자 중 긍정적인 제안을 제출한 비율이 매우 낮아 초기 심사 단계의 참여도가 낮음을 시사한다.
• 그래프 기반 기법은 심사위원-논문 간 관계를 효과적으로 모델링하고 더 나은 심사위원 배정을 지원할 수 있다.
• 심사위원은 점수 척도에서 심각한 캘리브레이션 오차를 보였으며, 다양한 논문에 동일한 점수를 부여하는 경우가 많았다.
• 순서형 랭킹은 동점 점수 할당을 줄이고 심사 불일치를 탐지하는 데 도움이 되어 카디널 점수의 실질적인 대안이 될 수 있다.
• 반론 이후 심사위원 점수에 큰 변화가 없어 저자 피드백에 대한 반응성이 낮음을 시사한다.
• 연구 분야 간 수락률에 명백한 편향은 발견되지 않았지만, 자신감 수준과 노력 정도에서 심사위원 풀 간 차이가 관찰되었다.