[論文レビュー] Single versus Double Blind Reviewing at WSDM 2017

Andrew Tomkins, Min Zhang+1 more|arXiv (Cornell University)|Feb 1, 2017

Expert finding and Q&A systems参考文献 12被引用数 10

ひとこと要約

本研究は、WSDM 2017で実施された制御実験を通じて、単 blinded および 双 blinded 評価の比較を行い、単 blinded 評価では論文の提出者に関する情報が明示されている場合に、22%少ない論文に応募し、著名な著者や上位機関に所属する著者を好む顕著なバイアスが生じることを明らかにした。著者の著名度と機関の格付けに関するオッズ乗数は、それぞれ1.63および2.10であった。一方、主な分析では性別に関する統計的に有意なバイアスは観察されなかったが、メタアナリシスにより、女性著者に対する広範な負の影響が示唆された。

ABSTRACT

In this paper we study the implications for conference program committees of using single-blind reviewing, in which committee members are aware of the names and affiliations of paper authors, versus double-blind reviewing, in which this information is not visible to committee members. WSDM 2017, the 10th ACM International ACM Conference on Web Search and Data Mining, performed a controlled experiment in which each paper was reviewed by four committee members. Two of these four reviewers were chosen from a pool of committee members who had access to author information; the other two were chosen from a disjoint pool who did not have access to this information. This information asymmetry persisted through the process of bidding for papers, reviewing papers, and entering scores. Reviewers in the single-blind condition typically bid for 22% fewer papers, and preferentially bid for papers from top institutions. Once papers were allocated to reviewers, single-blind reviewers were significantly more likely than their double-blind counterparts to recommend for acceptance papers from famous authors and top institutions. The estimated odds multipliers are 1.63 for famous authors and 1.58 and 2.10 for top universities and companies respectively, so the result is tangible. For female authors, the associated odds multiplier of 0.78 is not statistically significant in our study. However, a meta-analysis places this value in line with that of other experiments, and in the context of this larger aggregate the gender effect is also statistically significant.

研究の動機と目的

• 実世界の国際会議における著者身元の可視性が査読結果に与える影響を調査すること。
• コンピュータサイエンスの会議において、単 blinded と双 blinded 評価を比較する制御実験が不足しているという問題を解決すること。
• 単 blinded と双 blinded 条件下でのレビュアーの行動、応募パターン、受容推薦に顕著な差が生じるかどうかを評価すること。
• 著者の著名度、機関の格付け、性別が査読結果に与える影響を評価すること。
• 会議のプログラム責任者らが単 blinded と双 blinded 評価モデルの選択を下すにあたり、実証的根拠を提供すること。

提案手法

• WSDM 2017において、各論文が4名のレビュアーによって査読された制御実験を実施した。そのうち2名は著者身元を把握している単 blinded プールに所属し、残り2名は著者身元を把握しない双 blinded プールに所属した。
• レビュアーの応募行動に関するデータを収集し、各レビュアーが何本の論文に応募したか、および上位機関に所属する著者からの論文をどれほど好んだかを分析した。
• レビュアーのスコアと受容推薦を記録し、単 blinded と双 blinded レビューの結果を比較した。
• ロジスティック回帰を用いて、著者の著名度、機関所属、性別に基づく受容可能性のログオッズ乗数を推定した。
• 7つの研究を統合したメタアナリシスを実施し、特に性別および機関バイアスの整合性を評価した。
• 過去の研究から得られたt統計量およびオッズ比を、WSDMの結果と直接比較可能なログオッズ乗数に変換した。

実験結果

リサーチクエスチョン

• RQ1 著者身元の可視性は、国際会議の査読においてレビュアーの応募行動にどのように影響するか？
• RQ2 単 blinded 評価では、双 blinded 評価と比較して、著名な著者や上位機関に所属する著者の論文の受容率が高くなるか？
• RQ3 単 blinded と双 blinded 評価の下で、性別バイアスは受容推薦に顕著に現れるか？
• RQ4 複数の研究における著者身元および機関格付けの影響は、メタアナリシスを通じてどのように比較されるか？
• RQ5 論文の質とは独立して、著者情報が隠されている場合と明らかにされている場合で、レビュアーの意思決定にどの程度の差が生じるか？

主な発見

• 単 blinded レビューでは、双 blinded レビューと比較して22%少ない論文に応募しており、著者身元が明示されていると参加意欲が低下することが示された。
• 単 blinded レビューでは、著名な著者からの論文の受容推薦確率が顕著に高まっており、オッズ乗数は1.63であった。
• 上位大学に所属する著者からの論文はオッズ乗数1.58、上位企業に所属する著者からの論文はオッズ乗数2.10であった（単 blinded 情報下）。
• 女性著者については、主な分析で統計的に有意なバイアスは認められず、オッズ乗数は0.78であった。
• 7つの研究を統合したメタアナリシスにより、女性著者に一貫した統計的に有意な負の影響が確認され、統合ログオッズ乗数は-0.246であった。
• WSDMの研究では、上位機関の影響が過去の研究よりも顕著に強く、オッズ乗数1.58であった。これは、会議とジャーナルの査読プロセスにおけるダイナミクスの違いを示唆している。