[논문 리뷰] De-anonymization of authors through arXiv submissions during double-blind review

Homanga Bharadhwaj, Dylan Turpin외 2명|arXiv (Cornell University)|2020. 07. 01.

scientometrics and bibliometrics research참고 문헌 4인용 수 8

한 줄 요약

이 연구는 더블 블라인드 심사 기간 동안 arXiv 프리프린트가 저자 신원 노출 및 수락 결과에 영향을 미칠 수 있는지 조사한다. ICLR 2019–2020 데이터(n=5050)를 사용하여, 높은 명성도를 가진 저자에 대해 프리프린트 배포와 수락 간에 통계적으로 유의미한 양의 상관관계가 있음을 발견했으며, 신원이 폭 드러난 경우 저자 신뢰도가 낮은 리뷰어들이 유명한 저자에게 더 강한 편향을 보이는 것으로 나타났다.

ABSTRACT

In this paper, we investigate the effects of releasing arXiv preprints of papers that are undergoing a double-blind review process. In particular, we ask the following research question: What is the relation between de-anonymization of authors through arXiv preprints and acceptance of a research paper at a (nominally) double-blind venue? Under two conditions: papers that are released on arXiv before the review phase and papers that are not, we examine the correlation between the reputation of their authors with the review scores and acceptance decisions. By analyzing a dataset of ICLR 2020 and ICLR 2019 submissions (n=5050), we find statistically significant evidence of positive correlation between percentage acceptance and papers with high reputation released on arXiv. In order to understand this observed association better, we perform additional analyses based on self-specified confidence scores of reviewers and observe that less confident reviewers are more likely to assign high review scores to papers with well known authors and low review scores to papers with less known authors, where reputation is quantified in terms of number of Google Scholar citations. We emphasize upfront that our results are purely correlational and we neither can nor intend to make any causal claims. A blog post accompanying the paper and our scraping code will be linked in the project website https://sites.google.com/view/deanon-arxiv/home

연구 동기 및 목표

• 논문을 더블 블라인드 심사 이전 또는 동안 arXiv에 배포하는 것이 수락률에 영향을 미치는지 조사하기 위해.
• 더블 블라인드 장소에서 저자 명성(구글 색색러 인용 수로 측정)과 심사 결과 간의 상관관계를 조사하기 위해.
• 심사자 신뢰도 수준이 저자 명성의 심사 점수에 미치는 영향을 조절하는지 분석하기 위해.
• arXiv 프리프린트를 통한 신원 노출이 심사 과정에 편향을 유도하는지 평가하기 위해.
• 더블 블라인드 심사에서 프리프린트 기반의 저자 신원 노출로 인한 편향을 줄이기 위한 정책 및 기술적 해결책을 제안하기 위해.

제안 방법

• OpenReview를 통해 ICLR 2019 및 2020 제출물에서 데이터를 수집하였으며, 저자 소속, 심사 점수, 수락 결정 정보 포함.
• 저자 목록과 첫 업로드 시간 타임스탬프를 사용하여 제출물을 arXiv에 매핑하였으며, 제목 변형으로 인한 오류를 방지하기 위해 제목 기반 매칭을 피함.
• 프로그램적 크래핑 도구인 'scholarly'를 활용해 구글 색색러 인용 수와 h-지수를 이용해 저자 명성도를 정량화함.
• 심사 점수와 수락 결과를 분석하여, 심사 중 또는 이전에 arXiv에 배포된 논문과 배포되지 않은 논문 간 비교 수행.
• 심사자 자신이 보고한 신뢰도 점수에 따라 리뷰어를 분류하여, 저자 신뢰도가 낮은 리뷰어가 유명한 저자 논문에 더 강한 편향을 보이는지 평가.
• 인과 추론 없이 관찰 기반 상관 분석을 통해 5050건의 제출물에서 패턴 탐지.

실험 결과

연구 질문

• RQ1 논문을 더블 블라인드 심사 이전 또는 동안 arXiv에 배포하는 것이 고명성 저자에 대해 더 높은 수락률과 상관관계가 있는가?
• RQ2 구글 색색러 인용 수와 h-지수로 측정된 저자 명성이 더블 블라인드 장소에서 심사 점수와 수락 결정에 어떻게 영향을 미치는가?
• RQ3 자신의 신뢰도를 낮게 평가한 리뷰어들이 arXiv 프리프린트를 통해 신원이 노출된 경우, 잘 알려진 저자 논문에 더 강한 편향을 보이는가?
• RQ4 arXiv를 통한 신원 노출 효과가 경계선 논문에서 더 두드러지는가?
• RQ5 프리프린트 기반의 저자 신원 노출으로 인한 편향을 줄이기 위한 체계적 변화는 무엇인가?

주요 결과

• Google 색색러 인용 수로 측정된 고명성 저자 논문의 경우, arXiv에 프리프린트를 배포한 것과 수락률 간에 통계적으로 유의미한 양의 상관관계가 있음.
• 높은 인용 수를 가진 저자 논문은 더블 블라인드 심사 기간 동안 arXiv에 배포될 가능성이 유의미하게 높음.
• 자신의 신뢰도를 낮게 평가한 리뷰어들은 arXiv 프리프린트를 통해 저자 신원이 노출된 경우, 잘 알려진 저자 논문에 더 높은 심사 점수를 부여할 가능성이 높음.
• 편향 효과는 경계선 논문에서 더 강력하게 나타나, 신원 노출이 가까운 결론에서 결정을 기울일 수 있음을 시사함.
• 인과적 증거는 발견되지 않았지만, 관찰된 상관관계는 프리프린트 배포가 더블 블라인드 심사의 공정성을 해칠 수 있음을 시사함.
• 저자들이 제안한 정책 및 기술적 해결책, 예를 들어 익명화된 arXiv 업로드 및 한 논문당 저자 신뢰도가 낮은 리뷰어 수 제한을 통해 편향을 줄일 수 있음.