[論文レビュー] On Strategyproof Conference Peer Review

Yichong Xu, Han Zhao+3 more|arXiv (Cornell University)|Jun 16, 2018

Game Theory and Voting Systems参考文献 46被引用数 10

ひとこと要約

本論文は、レビュー担当者も著者である可能性がある学術会議における戦略的でなく、かつ効率的なピアレビュー手法を提案する。これは、レビューの偏りによる結果操作が不可能であることを保証するパーティショニングに基づくアルゴリズムを用いる。著者関係グラフにやや弱い条件が課せられる場合、戦略的不正の回避性と団体の一致性（group unanimity）が保証され、ICLR 2017のデータを用いた実証的検証が行われる。一方、より強い効率性要件が課せられると、戦略的不正の回避性は不可能であることが示された。

ABSTRACT

We consider peer review in a conference setting where there is typically an overlap between the set of reviewers and the set of authors. This overlap can incentivize strategic reviews to influence the final ranking of one's own papers. In this work, we address this problem through the lens of social choice, and present a theoretical framework for strategyproof and efficient peer review. We first present and analyze an algorithm for reviewer-assignment and aggregation that guarantees strategyproofness and a natural efficiency property called unanimity, when the authorship graph satisfies a simple property. Our algorithm is based on the so-called partitioning method, and can be thought as a generalization of this method to conference peer review settings. We then empirically show that the requisite property on the authorship graph is indeed satisfied in the submission data from the ICLR conference, and further demonstrate a simple trick to make the partitioning method more practically appealing for conference peer review. Finally, we complement our positive results with negative theoretical results where we prove that under various ways of strengthening the requirements, it is impossible for any algorithm to be strategyproof and efficient.

研究の動機と目的

• レビュー担当者が自身の論文に対して結果を操作できないようにする戦略的不正回避性を有するピアレビュー手法の設計。
• 全レビュー担当者が同じ順序を評価する場合にその順序が最終結果に反映される社会選択理論の原則「団体の一致性」を用いた効率性の確保。
• 会議のピアレビューにおいて戦略的不正回避性と効率性が共存可能な条件の分析。
• 提案手法の実世界の会議データ（ICLR 2017）を用いた実証的妥当性の検証。
• より強い効率性要件（例：対比較的一致性）が課せられた場合、戦略的不正回避性が不可能であることを示す理論的限界の確立。

提案手法

• 戦略的不正回避性を保証するため、著者との関係があるレビュアーが自身の論文の順位に影響を与えないように、パーティショニングに基づくアルゴリズムを用いてレビュアーを論文に割り当てる。
• 著者とレビュアーの重複を扱えるように一般化された、会議のピアレビューに向けたパーティショニング手法の新規応用。
• レビュアーが関係する論文の結果を変更できないようにすることで、戦略的不正回避性を保証する。
• 全レビュアーが論文の順序を一致して評価する場合にその相対順位を保持することで、団体の一致性を実装する。
• 著者-レビュアー関係を表す衝突グラフに依存し、アルゴリズムの正しさはこのグラフのやや弱い構造的性質に依存する。
• 実際の現場での適用性を高めるための実用的改善が導入され、レビュアーの負担軽減や割り当て品質の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 著者関係グラフにどのような条件下で、ピアレビュー制度が戦略的不正回避性と効率性を両立できるか。
• RQ2 パーティショニング手法を、戦略的不正回避性と効率性を保ったまま、会議のピアレビューに一般化できるか。
• RQ3 提案されたアルゴリズムは、実際の会議データ（特にICLR 2017）において、必要なグラフ特性を満たしているか。
• RQ4 より強い効率性基準（例：対比較的一致性）が課せられた場合、戦略的不正回避性の理論的限界は何か。
• RQ5 実用的な改善を加えることで、パーティショニング手法の実世界における実用性と性能を向上させられるか。

主な発見

• 提案されたピアレビューアルゴリズムは、著者関係グラフにやや弱い構造的条件が課せられる場合、戦略的不正回避性と団体の一致性を保証する。
• 実証的分析により、ICLR 2017の提出データにおいて必要なグラフ特性が成立していることが確認され、手法の実用的適用可能性が裏付けられた。
• パーティショニング手法は、より単純な設定に限らず、会議のピアレビューに一般化可能であることが示された。
• 単純な実用的変更が、理論的保証を損なわずに手法の魅力を高められることを示した。
• 本論文は、いかなるアルゴリズムでも戦略的不正回避性と対比較的一致性を同時に満たせないことを証明し、根本的な理論的限界を確立した。
• 結果として、団体の一致性は現実的かつ達成可能な効率性基準であることが示されたが、より強い形の一致性は戦略的不正回避性と両立できないことが判明した。