[論文レビュー] You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism

Weijie Su|arXiv (Cornell University)|Oct 27, 2021

Game Theory and Applications被引用数 10

ひとこと要約

本稿では、著者が自身の論文を評価する真の順位と、レビュアーのノイズの多いスコアを組み合わせることで、査読の正確性を向上させる新しいスコア付け手法「Isotonic Mechanism」を提案する。著者の順位に基づく単調（isotonic）制約を課す凸最適化問題を解くことで、スコアの正確性が著しく向上し、凸型の利得関数のもとで真実の報告がインcentivizedされる。

ABSTRACT

I consider a setting where reviewers offer very noisy scores for several items for the selection of high-quality ones (e.g., peer review of large conference proceedings), whereas the owner of these items knows the true underlying scores but prefers not to provide this information. To address this withholding of information, in this paper, I introduce the Isotonic Mechanism, a simple and efficient approach to improving imprecise raw scores by leveraging certain information that the owner is incentivized to provide. This mechanism takes the ranking of the items from best to worst provided by the owner as input, in addition to the raw scores provided by the reviewers. It reports the adjusted scores for the items by solving a convex optimization problem. Under certain conditions, I show that the owner's optimal strategy is to honestly report the true ranking of the items to her best knowledge in order to maximize the expected utility. Moreover, I prove that the adjusted scores provided by this owner-assisted mechanism are significantly more accurate than the raw scores provided by the reviewers. This paper concludes with several extensions of the Isotonic Mechanism and some refinements of the mechanism for practical consideration.

研究の動機と目的

• 近年の提出件数の増加と適切なレビュアーの不足により、大規模な機械学習学会における査読スコアの信頼性が低下している問題に対処すること。
• レビュアーに依存せず、著者自身の情報を活用することで、スコアの正確性を向上させるメカニズムを設計すること。
• 著者が自身の論文の順位を真実に報告する動機付けが得られるインcentive-compatibleなシステムを構築すること。
• 計算的に効率的で理論的裏付けのある方法を開発し、真の論文の質を推定する際、生のレビュアーのスコアを上回ること。
• 非凸型利得関数、著者の戦略的行動、複数著者論文といった実用的課題への拡張を図ること。

提案手法

• Isotonic Mechanismは、著者から提供された自身の論文順位に基づき、生のレビュアーのスコアを調整する凸最適化フレームワークを用いる。
• 調整を等位回帰（isotonic regression）問題として定式化し、調整後のスコアが著者の順位が示す順序を尊重することを保証する。
• 生のレビュアーのスコアへの忠実度と、著者の順位から導かれる等位制約への従順度の両方をバランスさせる損失関数を最小化する。
• 最適化はペナルティ項λでパrameter化されており、これは等位制約の強度を制御する。λ→∞のとき、メカニズムは漸近的に等位解を回復する。
• 凸型利得のもとで、著者の最適戦略は論文順位を真実に報告することであり、これによりインcentive compatibilityが保証される。
• 本手法は、レビュアーをインcentivizeすることに焦点を当てた従来のアプローチとは異なり、著者から得られる順序情報を利用している。

実験結果

リサーチクエスチョン

• RQ1 著者が自身の論文を評価する順位を用いることで、査読スコアの正確性を著しく向上させられるか？
• RQ2 著者が自身の論文順位を真実に報告することが最適となる条件は何か？
• RQ3 特にスコアのばらつきが大きい状況において、Isotonic Mechanismは生のレビュアーのスコアに比べて推定の正確性でどのように優れるか？
• RQ4 著者の戦略的行動や非凸型利得関数に対応できるように、メカニズムを拡張できるか？
• RQ5 複数著者が関与する論文では、それぞれの著者が異なるインセンティブを持つ場合、どのようにメカニズムを適応可能にできるか？

主な発見

• Isotonic Mechanismが生成する調整スコアは、生のレビュアーのスコアよりも著しく正確であり、特にレビュアーのスコアのばらつきが大きい場合に顕著に向上する。
• 凸型利得のもとでは、著者の唯一の最適戦略は論文の順位を真実に報告することであり、これによりインcentive compatibilityが保証される。
• ペナルティパラメータλ→∞のとき、メカニズムは漸近的に等位解を回復する。n=2本の論文の場合、これは正確に成立する。
• 提出件数が多く、レビュアーのスコアのばらつきが大きい状況（現代のML学会で一般的）では、スコアの正確性向上が最も顕著に現れる。
• 著者が真の順位について不確実であっても、利用可能な最も正確な順位を報告することが依然として最適であるため、メカニズムは依然として有効である。
• 実証的検証の促進が求められ、NeurIPS 2021では著者による順位評価が収集されている（意思決定には使用されなかった）ため、今後の評価の基盤が整っている。