[論文レビュー] Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments

Steven Jecmen, Hanrui Zhang+4 more|arXiv (Cornell University)|Jun 29, 2020

Expert finding and Q&A systems参考文献 50被引用数 23

ひとこと要約

本論文は、便宜的報酬の取り引き、トルピードレビュー、レビュアーの匿名性の喪失といった悪意ある操作を緩和するための確率的レビュアー割り当てアルゴリズムを提案する。確率的制約の下でレビュアーと論文の割り当てを最適化することで、悪意ある割り当ての成功確率を50%に制限しつつ、最適な類似度の90%以上を維持し、利害の衝突を回避する。

ABSTRACT

We consider three important challenges in conference peer review: (i) reviewers maliciously attempting to get assigned to certain papers to provide positive reviews, possibly as part of quid-pro-quo arrangements with the authors; (ii) "torpedo reviewing," where reviewers deliberately attempt to get assigned to certain papers that they dislike in order to reject them; (iii) reviewer de-anonymization on release of the similarities and the reviewer-assignment code. On the conceptual front, we identify connections between these three problems and present a framework that brings all these challenges under a common umbrella. We then present a (randomized) algorithm for reviewer assignment that can optimally solve the reviewer-assignment problem under any given constraints on the probability of assignment for any reviewer-paper pair. We further consider the problem of restricting the joint probability that certain suspect pairs of reviewers are assigned to certain papers, and show that this problem is NP-hard for arbitrary constraints on these joint probabilities but efficiently solvable for a practical special case. Finally, we experimentally evaluate our algorithms on datasets from past conferences, where we observe that they can limit the chance that any malicious reviewer gets assigned to their desired paper to 50% while producing assignments with over 90% of the total optimal similarity. Our algorithms still achieve this similarity while also preventing reviewers with close associations from being assigned to the same paper.

研究の動機と目的

• 国際会議におけるpeer reviewにおける3大整合性の脅威、すなわち悪意ある便宜的報酬、トルピードレビュー、レビュアーの匿名性喪失に対処すること。
• これらの課題を、レビュアー割り当ての共通の確率的枠組みに統合すること。
• 個々のレビュアーと論文の割り当て確率、およびそれらの組み合わせに関するユーザー指定の制約を満たす、計算効率の良い確率的割り当てアルゴリズムを設計すること。
• 実証的に、操作の制限と高いレビュアー-論文類似度、およびレビュアーの利害の衝突の防止を両立するアルゴリズムの性能を評価すること。

提案手法

• 著者らは、任意のレビュアーが特定の論文に割り当てられる周辺確率に制約を課す確率的割り当て問題を定式化する。
• レビュアーと論文の類似度をモデル化し、線形計画法を用いてこれらの制約の下での最適な確率的割り当てを計算するフレームワークを導入する。
• 共同制約（例：共同研究者同士が同じ論文をレビューしないようにする）を扱う場合、特に効率的に解ける特殊ケース「分割制約問題（Partition-Constrained Problem）」を同定する。
• アルゴリズムは柔軟に設計されており、プログラムチェアが類似度、操作耐性、および衝突防止の間のトレードオフを調整できる。
• 本手法は個々の制約とペアワイズ制約の両方をサポートしており、共謀や匿名性喪失のリスクを軽減可能である。
• 実証的評価では、実際の国際会議データセットを用い、さまざまな入札シナリオ下での確率的アルゴリズムと決定的割り当ての比較が行われる。

実験結果

リサーチクエスチョン

• RQ1 悪意あるレビュアーが標的論文に割り当てられる確率を、50%のような事前に定められた閾値まで効果的に制限できるか？
• RQ2 類似度と操作耐性という観点から、確率的アルゴリズムは決定的割り当てと比べてどの程度の性能を示すか？
• RQ3 共同研究者同士が同じ論文をレビューしないようにするようなレビュアーのペアに対する結合制約を、高い割り当て品質を維持したまま実装するのは計算的に可能か？
• RQ4 類似度とコードが公開された場合でも、割り当てデータが公開された際にレビュアーの匿名性を防止できるか？
• RQ5 レビュアー-論文類似度を最大化するのと、操作のリスクや利害の衝突のリスクを最小化するのとの間に、どのようなトレードオフが存在するか？

主な発見

• 提案されたアルゴリズムは、入札行動にかかわらず、いかなる悪意あるレビュアーも標的論文に割り当てられる確率を最大で50%に制限する。
• アルゴリズムは、決定的割り当てと比較して、合計最適類似度の90%以上を達成し、高い割り当て品質を維持する。
• 低類似度のレビュアー（例：100位）に対しても、アルゴリズムは操作成功確率を50%未満に制限するが、そもそもそのようなケースは成功しにくい。
• 類似度の近いレビュアー同士が同じ論文に割り当てられないよう、アルゴリズムは効果的に対処し、利害の衝突リスクを低減する。
• 実験では、決定的アルゴリズムでは高い操作成功が可能であった（例：8位のレビュアーが悪意ある入札で割り当てを保証可能）が、確率的手法では50%の上限を維持した。
• アルゴリズムは入札操作に対しても頑健であり、類似度と割り当てコードが公開された場合でも、強い匿名性保証を提供する。