[論文レビュー] Arbitrariness of peer review: A Bayesian analysis of the NIPS experiment

Olivier François|arXiv (Cornell University)|Jul 23, 2015

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 12

ひとこと要約

この論文は、NIPSの査読実験データにベイズ統計モデリングを適用し、基本的な品質基準を満たす論文の割合を表す隠れパラメータを導入している。分析の結果、56%の論文が品質基準を満たしている（95%信頼区間：0.34–0.83）ことが判明し、この水準まで採択率を引き上げることで、査読の恣意的要因を軽減できる可能性がある。

ABSTRACT

The principle of peer review is central to the evaluation of research, by ensuring that only high-quality items are funded or published. But peer review has also received criticism, as the selection of reviewers may introduce biases in the system. In 2014, the organizers of the ``Neural Information Processing Systems q q{} conference conducted an experiment in which $10\%$ of submitted manuscripts (166 items) went through the review process twice. Arbitrariness was measured as the conditional probability for an accepted submission to get rejected if examined by the second committee. This number was equal to $60\%$, for a total acceptance rate equal to $22.5\%$. Here we present a Bayesian analysis of those two numbers, by introducing a hidden parameter which measures the probability that a submission meets basic quality criteria. The standard quality criteria usually include novelty, clarity, reproducibility, correctness and no form of misconduct, and are met by a large proportions of submitted items. The Bayesian estimate for the hidden parameter was equal to $56\%$ ($95\%$CI: $ I = (0.34, 0.83)$), and had a clear interpretation. The result suggested the total acceptance rate should be increased in order to decrease arbitrariness estimates in future review processes.

研究の動機と目的

• NIPS実験データを用いたベイズ推論により、査読における恣意的要因を定量化すること。
• Novelty, correctness, reproducibility などの基本的品質基準を満たす論文の割合（隠れパラメータ）を推定すること。
• 単一段階モデルと比較して、まず品質をスクリーニングし、その後ランダムに採択する二段階査読モデルが、観察されたデータをよりよく説明できるかどうかを評価すること。
• 将来的な査読プロセスにおいて、総採択率を引き上げることで恣意的要因を軽減できるかどうかを評価すること。
• 高品質論文の分布に関する異なる仮定の下でのモデル適合度を比較すること。

提案手法

• 品質基準を満たす論文の割合を表す隠れパラメータ x と、品質を満たす場合の採択確率 y を持つ、Reject or Flip a Coin (RFC) モデルを提案。
• 非情報的事前分布を用いてベイズの定理により事後分布を導出し、恣意的要因を a = 1 - π/x としてモデル化。
• 高品質論文の割合 α の一部を許容する拡張版 RAFC モデルを導入し、近似ベイズ計算（ABC）を用いて α を推定。
• 10万回のシミュレーションを用いたABCにより、事後分布からのサンプリングと、異なる α 値におけるモデルの尤度を計算。
• 事後分布を用いて x と y の信用区間を計算し、95%信用区間を報告。
• 事後モデル確率とベイズファクターを用いてモデル適合度を比較し、RAFC モデルが RFC モデルを上回るかどうかを評価。

実験結果

リサーチクエスチョン

• RQ1 どの程度の割合の論文が基本的品質基準を満たしており、その推定値の不確実性はどの程度か？
• RQ2 観察された恣意的要因（60%）は、論文の潜在的品質とどのように関係しているか？
• RQ3 まず品質をスクリーニングし、その後ランダムに採択する二段階査読モデルは、単一段階モデルと比較してNIPSのデータをよりよく説明できるか？
• RQ4 どの α 値（高品質論文の割合）がデータに最も適合し、それがモデルの性能にどのように影響するか？
• RQ5 推定された品質基準に合わせて総採択率を引き上げることで、査読における恣意的要因を理論的にほぼゼロにできるか？

主な発見

• 基本的品質基準を満たす論文の割合のベイズ推定値は56%であり、95%信用区間は (0.34, 0.83) である。
• 観察された恣意的要因60%は、わずかに56%の論文しか最低品質基準を満たさないモデルと整合的である。
• α = 5% の RAFC モデルがテストされた中で最も適合が良かったが、事後モデル確率は26%であった。
• RFC モデルとの対比較ではベイズファクターが1.31であったため、RAFC モデルの優位性はわずか（弱い証拠）にとどまる。
• 総採択率を56%まで引き上げることで、品質基準が満たされれば理論的には恣意的要因はほぼゼロにまで低下する。
• 結果から、品質スクリーニングと最終選定を分離することで、査読の負担と恣意的要因を軽減できる可能性がある。