[論文レビュー] De-anonymization of authors through arXiv submissions during double-blind review

Homanga Bharadhwaj, Dylan Turpin+2 more|arXiv (Cornell University)|Jul 1, 2020

scientometrics and bibliometrics research参考文献 4被引用数 8

ひとこと要約

本研究は、二重盲検査読中におけるarXivプレプリントの公開が、著者特定の解消（de-anonymization）を引き起こし、受入結果に影響を及ぼす可能性を調査する。ICLR 2019–2020のデータ（n=5050）を用いた分析から、高評価の著者に対してはプレプリントの公開と受入率の間に統計的に有意な正の相関が認められ、特に低自己信頼度の査読者が著者特定が明るみに出た場合、著名な著者に強いバイアスを示す傾向が見られた。

ABSTRACT

In this paper, we investigate the effects of releasing arXiv preprints of papers that are undergoing a double-blind review process. In particular, we ask the following research question: What is the relation between de-anonymization of authors through arXiv preprints and acceptance of a research paper at a (nominally) double-blind venue? Under two conditions: papers that are released on arXiv before the review phase and papers that are not, we examine the correlation between the reputation of their authors with the review scores and acceptance decisions. By analyzing a dataset of ICLR 2020 and ICLR 2019 submissions (n=5050), we find statistically significant evidence of positive correlation between percentage acceptance and papers with high reputation released on arXiv. In order to understand this observed association better, we perform additional analyses based on self-specified confidence scores of reviewers and observe that less confident reviewers are more likely to assign high review scores to papers with well known authors and low review scores to papers with less known authors, where reputation is quantified in terms of number of Google Scholar citations. We emphasize upfront that our results are purely correlational and we neither can nor intend to make any causal claims. A blog post accompanying the paper and our scraping code will be linked in the project website https://sites.google.com/view/deanon-arxiv/home

研究の動機と目的

• 論文を二重盲検査読の前後、またはその間にarXivに公開することで、受入率に影響を及えるかどうかを検討すること。
• 二重盲検査読会場における著者評判（Google Scholarの被引用回数を用いて測定）と査読結果との相関を調査すること。
• 査読者の自己評価した信頼度が、著者評判が査読スコアに与える影響を緩和するかどうかを分析すること。
• arXivプレプリントによる著者特定の解消が、査読プロセスにバイアスをもたらすかどうかを評価すること。
• 二重盲検査読におけるプレプリントによる著者特定の解消に起因するバイアスを低減するためのポリシー的・技術的解決策を提言すること。

提案手法

• OpenReviewを介してICLR 2019および2020の提出物からデータを収集し、著者所属、査読スコア、受入意思決定を含めた。
• 著者リストと初回アップロード時刻を用いて、提出物をarXivにマッピングし、タイトルの変化を考慮してタイトルベースのマッチングを避ける。
• Google Scholarの被引用回数とhインデックスを用いて著者評判を定量化し、プログラム的スクレイピングツール（例：'scholarly'）を活用して取得した。
• 査読スコアと受入結果を分析し、査読中またはその前に対象論文がarXivに公開されたか否かを比較した。
• 査読者の自己報告による信頼度スコアを基準に、低信頼度査読者が著名な著者による論文に対して強いバイアスを示すかを評価した。
• 5050件の提出物を対象とした観察的・相関的分析を実施し、因果関係の推定は行わない。

実験結果

リサーチクエスチョン

• RQ1 論文を二重盲検査読の前後、またはその間にarXivに公開することは、高評価の著者に対して高い受入率と相関するか？
• RQ2 Google Scholarの被引用回数とhインデックスで測定される著者評判は、二重盲検査読会場における査読スコアと受入意思決定にどのように影響するか？
• RQ3 自己報告による信頼度が低い査読者は、arXivプレプリントによる著者特定が行われた場合、著名な著者による論文に対してより高いスコアを付与する傾向があるか？
• RQ4 arXivによる著者特定の解消効果は、境界に近い論文（ borderline papers ）においてより顕著に現れるか？
• RQ5 プレプリントによる著者特定の解消に起因するバイアスを低減するためのシステム的改善策は何か？

主な発見

• Google Scholarの被引用回数で測定される高評価の著者を有する論文において、arXivへのプレプリント公開と受入率の間に統計的に有意な正の相関が認められた。
• 被引用回数の多い著者を有する論文は、二重盲検査読中またはその前に対象論文がarXivに公開される可能性が顕著に高い。
• 自己報告による信頼度が低い査読者は、arXivプレプリントによる著者特定が行われた場合、著名な著者による論文に対してより高い査読スコアを付与する傾向が強い。
• バイアス効果は境界に近い論文においてより強く現れ、著者特定の解消が僅かな決定を左右する可能性がある。
• 因果的証拠は得られなかったが、観察された相関関係から、プレプリントの公開が二重盲検査読の公平性を損なう可能性があると示唆された。
• 著者らは、匿名化されたarXivへのアップロードや、1論文あたりの低信頼度査読者の数制限といったポリシー的・技術的解決策を提言した。