[論文レビュー] PeerReview4All: Fair and Accurate Reviewer Assignment in Peer Review

Ivan Stelmakh, Nihar B. Shah+1 more|arXiv (Cornell University)|Jun 16, 2018

Game Theory and Voting Systems被引用数 31

ひとこと要約

PeerReview4Allは、最大最小公平性（最も不利な論文のレビュー品質を最大化）を最適化し、上位論文を特定する際の高い統計的正確性を確保する、革新的なレビュアー割り当てアルゴリズムを提案する。この手法は、構造化されたフローネットワーク上で段階的な最大フロー手順を用いて近似的に最適な割り当てを生成し、客観的および主観的レビュアー評価モデルの両方において、公平性と正確性に関する理論的保証を達成する。

ABSTRACT

We consider the problem of automated assignment of papers to reviewers in conference peer review, with a focus on fairness and statistical accuracy. Our fairness objective is to maximize the review quality of the most disadvantaged paper, in contrast to the commonly used objective of maximizing the total quality over all papers. We design an assignment algorithm based on an incremental max-flow procedure that we prove is near-optimally fair. Our statistical accuracy objective is to ensure correct recovery of the papers that should be accepted. We provide a sharp minimax analysis of the accuracy of the peer-review process for a popular objective-score model as well as for a novel subjective-score model that we propose in the paper. Our analysis proves that our proposed assignment algorithm also leads to a near-optimal statistical accuracy. Finally, we design a novel experiment that allows for an objective comparison of various assignment algorithms, and overcomes the inherent difficulty posed by the absence of a ground truth in experiments on peer-review. The results of this experiment as well as of other experiments on synthetic and real data corroborate the theoretical guarantees of our algorithm.

研究の動機と目的

• 大規模なカンファレンスレビューにおいて、バイアスや非最適な割り当てが、非主流的または異分野の研究に特に顕著に悪影響を及えるという深刻な課題に対処する必要があること。
• 総合的なレビュー品質や決定論的目的関数を最適化するが、公平性や統計的正確性を考慮しない従来の手法の限界を克服すること。
• 最も不利な立場の論文に、可能な限り高いレビュー品質が得られるようにアルゴリズムを設計することで、最大最小公平性の原則に整合すること。
• ノイズが多く主観的なレビュアー評価がある中でも、真の上位論文のセットを高精度に特定することを達成すること。
• 真の基準がない状況下で、割り当てアルゴリズムを客観的に比較可能な新しい実験フレームワークを開発することにより、公平性と正確性に関する主張の実証的検証を可能にすること。

提案手法

• 論文とレビュアーをノードとするフローネットワークを構築し、エッジの重みをレビュアーと論文の類似度スコアで表す。
• 段階的な最大フロー手順を用いて複数の候補割り当てを生成し、公平性と正確性を最適化するものを選択する。
• 再帰的な公平性最適化を適用：まず最も不利な論文の割り当てを固定し、次にその次に不利な論文へと順次進める。これにより、段階的な公平性が保証される。
• 客観的スコアモデルと、新規の主観的スコアモデルの両方の統計モデルを統合。レビュアーのスコアを分散が既知の確率変数として扱う。
• 平均化推定器を用いてレビュアーのスコアから論文の順位を回復し、推定誤差のミニマックス境界を導出することで、統計的正確性を評価する。
• 理論的分析を活用し、PeerReview4Allが、最適な最大最小公平性の定数倍以内という近似的に最適な公平性、および近似的に最適な統計的正確性を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 自動化されたレビュアー割り当てアルゴリズムは、上位論文を特定する際の高い統計的正確性を確保しつつ、近似的に最適な最大最小公平性を達成できるか？
• RQ2 実際のレビュアー行動モデルを想定した場合、提案されたPeerReview4Allアルゴリズムは、既存の手法と比較して公平性と正確性の両面で優れているか？
• RQ3 真の基準に依存せずに、レビュアー割り当てアルゴリズムを客観的に評価可能な新しい実験プロトコルを設計できるか？
• RQ4 客観的スコアモデルおよび主観的スコアモデルの両方において、ピアレビュー設定における統計的正確性のミニマックス境界は何か？
• RQ5 PeerReview4Allにおける段階的最大フロー構成は、レビュアーと論文の間の多様な類似構造に対して、証明可能な公平性と正確性の保証を提供するか？

主な発見

• PeerReview4Allは、近似的に最適な公平性を達成しており、最大最小公平性の目的関数が理論的最適値の定数倍の範囲内に収束することが保証されている。
• アルゴリズムは、真の論文順位の回復において強く高い統計的正確性を確保しており、レビュアー負荷やスコア分散に応じて有利にスケーリングするミニマックス誤差境界を有する。
• 提案された実験フレームワークにより、レビュアーのフィードバックをシミュレートし、真の論文順位の回復を測定することで、割り当てアルゴリズムの客観的比較が可能になった。
• 合成データおよび実データを用いた実証的評価により、PeerReview4Allがベースライン手法を上回り、特にレビュアーの専門性に偏りがある状況下でも公平性と正確性の両面で優れた性能を示した。
• 理論的分析により、アルゴリズムの公平性と正確性の保証が、客観的スコアモデルおよび新規の主観的スコアモデルの両方において成立することが示された。
• PeerReview4Allは、レビュアーのスコアがノイズが多いあるいは主観的であっても、ピアレビューの一般的な課題に強く耐性を示し、実用的で頑健な性能を維持した。