[論文レビュー] Strategyproofing Peer Assessment via Partitioning: The Price in Terms of Evaluators' Expertise

Komal Dhull, Steven Jecmen+2 more|arXiv (Cornell University)|Jan 25, 2022

Auction Theory and Applications被引用数 4

ひとこと要約

本稿は、戦略的投票を防ぐために分割を用いた戦略的でないピアレビュー機構を提案する。同時に、評価者と提出物の専門性のマッチングを最適化する。戦略的でない性質の下で、専門性の質の低下（すなわち『戦略的でない性質の代償』）を最小化する多項式時間アルゴリズムを導入する。実際の国際会議データ（ICLR 2018）を用いた評価では、非戦略的でない最適割り当てとの類似度損失が11.7%にとどまり、著者数が多いレビュアーを除外するとさらに8.9%まで改善される。

ABSTRACT

Strategic behavior is a fundamental problem in a variety of real-world applications that require some form of peer assessment, such as peer grading of homeworks, grant proposal review, conference peer review of scientific papers, and peer assessment of employees in organizations. Since an individual's own work is in competition with the submissions they are evaluating, they may provide dishonest evaluations to increase the relative standing of their own submission. This issue is typically addressed by partitioning the individuals and assigning them to evaluate the work of only those from different subsets. Although this method ensures strategyproofness, each submission may require a different type of expertise for effective evaluation. In this paper, we focus on finding an assignment of evaluators to submissions that maximizes assigned evaluators' expertise subject to the constraint of strategyproofness. We analyze the price of strategyproofness: that is, the amount of compromise on the assigned evaluators' expertise required in order to get strategyproofness. We establish several polynomial-time algorithms for strategyproof assignment along with assignment-quality guarantees. Finally, we evaluate the methods on a dataset from conference peer review.

研究の動機と目的

• 競争的ピアレビューにおける戦略的行動を是正すること。特に、評価者が自身の提出物の評価結果を有利にするためにスコアを操作する行動を防ぐこと。
• 戦略的でない性質と評価者-提出物の専門性マッチングのトレードオフを分析し、『戦略的でない性質の代償』を定量化すること。
• 戦略的でない性質の制約下でも割り当て品質を最大化する計算効率の良いアルゴリズムを設計すること。
• 提案手法を実際の国際会議のピアレビューデータ（特にICLR 2018）を用いて実証的に評価すること。
• 著者数の多いレビュアーを除外することで、分割の品質と専門性の保持にどのような影響を与えるかを検討すること。

提案手法

• 各エージェントが自身の提出物に影響を与える評価の影響を隔離することで、戦略的でない性質を保証する分割機構を用いる。具体的には、評価者は自身の所属するサブセットとは異なるサブセットの提出物にのみ評価を割り当てる。
• 連結成分を分割するためのヒューリスティックとして、Algorithm 5を提案。このアルゴリズムは、負荷のバランスと専門性類似度を両立させる。
• 評価者-提出物ペairとその最適割り当てとの類似度を測る指標を用い、割り当て品質の損失を定量化する。
• 大きな連結成分を緩和し、分割の柔軟性を高めるために、3本以上の論文を著者として持つレビュアーを事前処理で除外する。
• ランダムな分割と先行研究を比較し、類似度損失、負荷バランス、スコア分布類似度といった指標を用いて性能を評価する。
• 実世界の性能を評価するため、標準的な国際会議の負荷（k_p=3, k_a=6）を想定したICLR 2018データセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 分割による戦略的でない性質の強制下で、評価者-提出物の専門性の質の損失の根本的限界は何か？
• RQ2 戦略的でない性質の制約下で、近似的に最適な割り当て品質を達成する多項式時間アルゴリズムをどのように設計できるか？
• RQ3 実世界のピアレビュー環境において、著者数の多いレビュアーを除外することで、戦略的でない分割の品質と専門性の保持はどの程度向上するか？
• RQ4 提案された分割法を用いた場合、結果として得られるサブセットの提出物の強度とスコア分布は、どの程度バランスが取れているか？
• RQ5 提案されたアルゴリズムは、ランダムな分割法や先行のヒューリスティック手法と比較して、専門性の保持と分割のバランスの両面でどの程度優れているか？

主な発見

• Algorithm 5は、ICLR 2018データセットにおいて、非戦略的でない最適割り当てとの類似度損失が11.7%にとどまる。
• 著者数が3本を超える53名のレビュアーを除外した後、類似度損失は8.9%に低下し、専門性マッチングの向上が示された。
• 著者数の多いレビュアーを除外した場合、各サブセットの論文数のバランスが著しく向上し、差は1本にまで縮小される（除外しない場合の109本の差と比較）。
• 著者数の多いレビュアーを除外した場合、アルゴリズムが生成する2つのサブセットの論文スコア分布は非常に類似している。
• 各決定（例：受諾／拒否）を下された論文の割合が、2つのサブセット間でほぼ同一であることが示され、結果の分布における公平性が裏付けられた。
• 提案されたアルゴリズムの性能は、先行研究の単純な任意の分割ヒューリスティックと同等であり、類似度損失が11.4%にとどまる。これは、実際の現場でも単純なヒューリスティックでも十分に性能を発揮できることを示唆している。