[논문 리뷰] An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process

David Tran, Alexander V Valtchanov외 5명|arXiv (Cornell University)|2020. 10. 11.

scientometrics and bibliometrics researchDecision Sciences참고 문헌 7인용 수 19

한 줄 요약

이 연구는 공개된 데이터를 활용해 ICLR 2017–2020 심사 과정을 철저히 분석하여, 논문 품질과 주제를 보정한 후에도 강한 기관 편향과 심각한 성별 격차가 존재하는 것으로 밝혀냈다. 2020년 기준 재현성은 중간 수준(66%)을 보였지만, 심사 점수와 인용 영향력 간 상관관계는 낮았고, 수용률은 시간이 지남에 따라 감소하는 경향을 보여, 동료 심사 시스템 내에 체계적인 불평등이 존재함을 시사한다.

ABSTRACT

Mainstream machine learning conferences have seen a dramatic increase in the number of participants, along with a growing range of perspectives, in recent years. Members of the machine learning community are likely to overhear allegations ranging from randomness of acceptance decisions to institutional bias. In this work, we critically analyze the review process through a comprehensive study of papers submitted to ICLR between 2017 and 2020. We quantify reproducibility/randomness in review scores and acceptance decisions, and examine whether scores correlate with paper impact. Our findings suggest strong institutional bias in accept/reject decisions, even after controlling for paper quality. Furthermore, we find evidence for a gender gap, with female authors receiving lower scores, lower acceptance rates, and fewer citations per paper than their male counterparts. We conclude our work with recommendations for future conference organizers.

연구 동기 및 목표

• 2017–2020년 동안 ICLR 동료 심사 과정의 재현성과 무작위성을 조사한다.
• 심사자 점수가 실제 논문 영향력(인용 수 기준)과 얼마나 관련이 있는지 평가한다.
• 심사 과정의 일관성, 재현성, 영향력과의 상관관계 측면에서 시간이 지남에 따라 심사 과정이 악화되었는지 분석한다.
• 특히 유명 기관을 선호하는 영향을 받는 영역 책임자 결정의 기관 편향을 규명한다.
• 주제와 품질을 보정한 후에도 성별 격차가 심사 점수, 수용률, 인용 영향력에서 존재하는지 조사한다.

제안 방법

• ICLR 2017–2020 논문의 OpenReview, arXiv, SemanticScholar, 기관 순위(CS Rankings) 데이터를 수집하고 정제하였다.
• 다양한 심사자 수와 구성 조건 하에서 결과 재현성을 측정하기 위해 몬테카를로 시뮬레이션을 적용하였다.
• 다양한 통계 모델, 특히 회귀 분석 및 비모수적 검정(Mann-Whitney U 등)을 사용해 성별 및 기관 편향을 평가하였다.
• 분석에서 주제 분포를 보정하기 위해 수작업으로 키워드를 기반으로 12개 주제로 논문을 분류하였다.
• 이름 기반 및 웹 기반 히우리스틱을 사용해 제1 및 제13저자에게 성별 레이블을 할당하였으며, 한계점을 인정하였다.
• SemanticScholar 데이터를 사용해 인용 영향력을 측정하였고, 중복 제거를 위해 편집 거리 및 수동 정제를 실시하였다.

실험 결과

연구 질문

• RQ1 다른 심사자 조합에 비해 ICLR 심사 과정은 어느 정도 재현 가능한가?
• RQ2 심사자 점수는 수용된 논문의 실제 인용 영향력을 얼마나 잘 예측하는가?
• RQ3 2017–2020년 기간 동안 심사 과정의 일관성과 공정성은 악화되었는가?
• RQ4 유명 기관 소속 논문이 심사 점수와 관계없이 더 높은 수용률을 얻는 기관 편향의 증거가 있는가?
• RQ5 주제와 품질을 보정한 후에도 성별 격차가 심사 점수, 수용률, 인용 영향력에서 존재하는가?

주요 결과

• 2020년 기준 ICLR 심사 과정의 재현성은 66%로 중간 수준의 일관성을 보였지만, 이는 저자들이 느끼는 높은 무작위성과 모순된다.
• 심사자 점수와 실제 인용 영향력 간 상관관계는 매우 약했으며, 이는 점수가 장기적 논문 영향력을 예측하는 데에 빈약함을 시사한다.
• 심사 점수를 보정한 후에도 유명 기관 소속 논문은 유의미하게 높은 수용률을 보였으며, 이는 강력한 기관 편향을 의미한다.
• 여성 제1저자들은 남성 제1저자보다 평균 0.16점 낮은 점수를 받았고(p = 0.085), 수용률도 남성 제1저자(27.6%)보다 낮은 22.1%를 기록했다.
• 주제 분포를 보정한 후에도 여성의 실제 수용률(22.1%)은 남성과 동일한 주제별 수용률을 가졌을 경우 예상되는 수용률(27.8%)보다 낮았으며, 이는 체계적인 격차를 시사한다.
• 여성은 ICLR에서 부족하게 표현되고 있었다: 2020년 기준 제1저자 중 여성 비율은 10.6%, 제13저자 중 여성 비율은 9.7%였지만, 미국의 CS 박사 과정에서 여성 비율은 23.2%였다.