[논문 리뷰] Single versus Double Blind Reviewing at WSDM 2017

Andrew Tomkins, Min Zhang외 1명|arXiv (Cornell University)|2017. 02. 01.

Expert finding and Q&A systems참고 문헌 12인용 수 10

한 줄 요약

이 연구는 WSDM 2017에서 단일맹글리스트와 이중맹글리스트 리뷰 방식을 통제된 실험을 통해 비교하며, 단일맹글리스트 리뷰어는 논문에 22% 적게 제출하고, 유명한 저자와 상위 기관 소속 논문을 선호하는 명백한 편향을 보임을 발견함. 이는 각각 오즈 승수 1.63과 2.10을 보이며, 주요 분석에서는 성별 편향은 유의미하지 않지만 메타분석 결과 여성 저자에게 더 넓은 영향을 미치는 부정적 효과가 나타남.

ABSTRACT

In this paper we study the implications for conference program committees of using single-blind reviewing, in which committee members are aware of the names and affiliations of paper authors, versus double-blind reviewing, in which this information is not visible to committee members. WSDM 2017, the 10th ACM International ACM Conference on Web Search and Data Mining, performed a controlled experiment in which each paper was reviewed by four committee members. Two of these four reviewers were chosen from a pool of committee members who had access to author information; the other two were chosen from a disjoint pool who did not have access to this information. This information asymmetry persisted through the process of bidding for papers, reviewing papers, and entering scores. Reviewers in the single-blind condition typically bid for 22% fewer papers, and preferentially bid for papers from top institutions. Once papers were allocated to reviewers, single-blind reviewers were significantly more likely than their double-blind counterparts to recommend for acceptance papers from famous authors and top institutions. The estimated odds multipliers are 1.63 for famous authors and 1.58 and 2.10 for top universities and companies respectively, so the result is tangible. For female authors, the associated odds multiplier of 0.78 is not statistically significant in our study. However, a meta-analysis places this value in line with that of other experiments, and in the context of this larger aggregate the gender effect is also statistically significant.

연구 동기 및 목표

• 실제 컨fer런스 환경에서 저자 신원 노출이 동료 평가 결과에 어떤 영향을 미치는지 조사하기 위해.
• 컴퓨터 과학 컨퍼런스에서 단일맹글리스트와 이중맹글리스트 리뷰를 비교하는 통제된 실험의 부족을 해결하기 위해.
• 단일맹글리스트와 이중맹글리스트 조건에서 리뷰어 행동, 제출 패턴, 수용 권고가 유의미하게 다를지 평가하기 위해.
• 저자 유명도, 소속 기관의 명성, 성별이 리뷰 결과에 영향을 미치는지 평가하기 위해.
• 컨퍼런스 프로그램 책임자들이 단일맹글리스트와 이중맹글리스트 리뷰 모델을 선택하는 데 실증적 근거를 제공하기 위해.

제안 방법

• WSDM 2017에서 각 논문이 두 명의 단일맹글리스트 리뷰어(저자 신원을 알고 있음)와 두 명의 이중맹글리스트 리뷰어(저자 신원을 모름)에게 평가되도록 통제된 실험을 수행함.
• 리뷰어 제출 행동 데이터를 수집함. 이는 각 리뷰어가 몇 편의 논문에 제출했는지, 상위 기관 소속 논문에 대해 어떤 선호도를 보였는지 포함함.
• 리뷰어 점수와 수용 권고를 기록하고, 단일맹글리스트 리뷰어와 이중맹글리스트 리뷰어 간 결과를 비교함.
• 로지스틱 회귀를 사용하여 저자 유명도, 소속 기관, 성별에 따른 수용 가능성의 로그-오즈 승수를 추정함.
• 여러 연구에서의 효과 일致성 평가를 위해 메타분석을 수행함. 특히 성별 및 기관 편향에 초점 맞춤.
• 이전 연구에서의 t통계량과 오즈 비율을 WSDM 결과와 직접 비교할 수 있도록 로그-오즈 승수로 변환함.

실험 결과

연구 질문

• RQ1 저자 신원 가시성이 컨퍼런스 동료 평가에서 리뷰어의 제출 행동에 어떤 영향을 미치는가?
• RQ2 단일맹글리스트 리뷰가 이중맹글리스트 리뷰에 비해 저명한 저자나 상위 기관 소속 논문의 수용률을 높이는가?
• RQ3 단일맹글리스트 리뷰와 이중맹글리스트 리뷰에서 수용 권고에 대해 성별 편향이 측정 가능한가?
• RQ4 여러 연구에서 저자 신원과 소속 기관의 영향을 메타분석을 통해 어떻게 비교할 수 있는가?
• RQ5 논문의 질과 무관하게 저자 정보가 드러나거나 숨겨졌을 때 리뷰어 결정이 얼마나 다를까?

주요 결과

• 단일맹글리스트 리뷰어는 이중맹글리스트 리뷰어보다 22% 적게 논문을 제출하여, 저자 신원이 노출될 경우 참여도가 낮아지는 것으로 나타남.
• 단일맹글리스트 리뷰어는 저명한 저자 소속 논문에 대해 수용 권고를 더 많이 내리며, 오즈 승수는 1.63임.
• 상위 대학 소속 논문은 수용 오즈 승수가 1.58이었고, 상위 기업 소속 논문은 단일맹글리스트 리뷰에서 2.10이었음.
• 여성 저자에 대해서는 주요 분석에서 통계적으로 유의미한 편향이 없었으며, 오즈 승수는 0.78이었음.
• 7개 연구에서 14개의 맥락을 메타분석한 결과, 여성 저자에게 일관되고 통계적으로 유의미한 부정적 영향이 나타났으며, 통합 로그-오즈 승수는 -0.246였음.
• WSDM 연구에서 상위 기관의 영향은 이전 연구보다 더 뚜렷했으며, 오즈 승수가 1.58이었고, 이는 컨퍼런스와 저널 리뷰 동역학의 차이를 시사함.