[논문 리뷰] A Large Scale Randomized Controlled Trial on Herding in Peer-Review Discussions

Ivan Stelmakh, Charvi Rastogi외 3명|arXiv (Cornell University)|2020. 11. 30.

Expert finding and Q&A systems인용 수 5

한 줄 요약

이 대규모 무작위 대조 시험은 ICML 2020에서 동료 평가 토론에서의 군중행동을 분석하기 위해 심사자들을 랜덤으로 토론을 시작하는 자로 배정하고, 그들의 영향력을 최종 결정에 대해 측정하였다. 예상과는 달리, 이 연구는 유의미한 군중행동 효과를 발견하지 못했다—심사자들의 최종 결정이 토론 시작자의 견해에 비례하여 영향을 받지 않았다는 뜻이다. 이는 전문가 동료 평가 환경에서 사회적 영향에 대한 저항력이 있음을 시사한다.

ABSTRACT

Peer review is the backbone of academia and humans constitute a cornerstone of this process, being responsible for reviewing papers and making the final acceptance/rejection decisions. Given that human decision making is known to be susceptible to various cognitive biases, it is important to understand which (if any) biases are present in the peer-review process and design the pipeline such that the impact of these biases is minimized. In this work, we focus on the dynamics of between-reviewers discussions and investigate the presence of herding behaviour therein. In that, we aim to understand whether reviewers and more senior decision makers get disproportionately influenced by the first argument presented in the discussion when (in case of reviewers) they form an independent opinion about the paper before discussing it with others. Specifically, in conjunction with the review process of ICML 2020 -- a large, top tier machine learning conference -- we design and execute a randomized controlled trial with the goal of testing for the conditional causal effect of the discussion initiator's opinion on the outcome of a paper.

연구 동기 및 목표

• 동료 평가 결과에 영향을 미치는 군중행동—특히 토론에서 첫 번째 의견에 비례해 심사자가 일치하는 경향—이 학술 컨퍼런스에서 존재하는지 조사하기.
• 토론 시작자의 신원(무작위로 배정됨)이 고위험도의 기계학습 컨퍼런스에서 심사자들의 최종 결정에 인과적 영향을 미치는지 평가하기.
• 특히 영역 책임자들이 토론 시작자를 선정할 경우, 동료 평가 토론에서의 사회적 영향이 결정 정확성이나 공정성에 해를 끼치는지 평가하기.
• 통제된 실험 설계를 통해 실제 동료 평가 프로세스에서 무작위 배정된 토론 시작자와 자발적 선택된 토론 시작자의 영향을 비교하여 그룹 공감대 형성에 미치는 영향을 평가하기.
• 기존 문헌에서 동료 평가의 품질과 신뢰성에 대해 논의된 바를 고려하여, 점수 수렴 및 합의 증가와 같은 더 넓은 토론 동적 변화를 기록하고 분석하기.

제안 방법

• ICML 2020 심사 과정 중에 대규모 무작위 대조 시험(RCT)을 실시하여, 일부 논문에 대해 심사자들을 랜덤으로 토론 스레드를 시작하는 자로 배정하였다.
• 비시작자 심사자들이 간섭을 인지하지 못하도록 하기 위해 마이크로소프트 컨퍼런스 관리 툴킷(CMT)을 사용하여 무작위화를 구현하고, 자연스러운 토론 동적을 유지하였다.
• 심사자 최종 결정에 대한 토론 시작자의 견해의 인과적 영향을 분석하기 위해, 다양한 시작자를 가진 논문 간 결과를 비교하였으며, 사전 토론 심사 점수와 심사자 전문성 등을 통제하였다.
• 통계 분석을 통해 토론 시작자의 견해가 사전 독립적 심사 점수의 평균보다 최종 그룹 결정을 더 강하게 예측하는지 테스트하였다.
• 토론 전사본, 심사자 점수, 최종 수락/기각 결정을 수집하고 분석하여 수렴, 합의, 영향력 패턴을 평가하였다.
• 실제 학술 환경에서의 방법론적 엄밀성과 윤리적 준수를 확보하기 위해 사전 등록된 연구 설계와 IRB 승인을 이행하였다.

실험 결과

연구 질문

• RQ1 동료 평가 토론에서 첫 번째로 제시된 견해가 최종 심사자 결정에 유의미하게 영향을 미치는가? 이는 군중행동을 시사한다.
• RQ2 토론 시작자의 견해가 최종 결정에 미치는 인과적 영향이 사전 토론 심사 점수의 평균보다 더 강한가?
• RQ3 무작위 배정된 토론 시작자와 자발적 선택된 토론 시작자 간의 영향력 차이를 기반으로 그룹 공감대 형성에 어떤 영향을 미치는가?
• RQ4 동료 평가 토론은 심사자 간 합의를 어느 정도 증가시키며, 이 증가한 합의는 결정 정확성 향상과 관련이 있는가?
• RQ5 토론 시작자의 신원(예: 경력, 견해의 극단성)이 최종 결정에 영향을 미치는가? 만약 그렇다면, 이 영향은 군중행동 때문이거나 다른 요인 때문인가?

주요 결과

• 유의미한 군중행동 효과가 발견되지 않았다: 토론 시작자의 견해가 사전 독립적 심사 점수의 평균보다 최종 그룹 결정을 더 강하게 예측하지 못했다.
• 토론 후 심사자 점수는 그룹 공감대로 수렴하는 경향을 보였으며, 이는 이전 연구에서 보고된 동료 평가에서의 사회적 영향과 일치한다.
• 토론은 심사자 간 합의를 증가시켰지만, 이 증가가 결정 정확성 향상과 연결되지 않았다. 이는 이전 연구에서 관찰된 바와 일치한다.
• 군중행동의 부재는 기계학습 컨퍼런스에서 전문 심사자가 더 이상 힌트 기반 사회적 영향보다 합리적 논의에 의존할 수 있음을 시사한다.
• 무작위로 토론 시작자를 배정한 결과, 편향된 결과가 발생하지 않았다는 증거가 없었으며, 이는 영역 책임자들이 시작자를 선택하는 것이 최종 결정에 미치는 영향이 제한적임을 시사한다.
• 연구 결과는 전문 동료 평가에서 강력한 사회적 영향이 존재한다는 가정를 도전하며, 합리적 논의가 그룹 결정 과정에서 일반적인 인지 편향을 완화시킬 수 있음을 시사한다.