[論文レビュー] Incentive Design in Peer Review: Rating and Repeated Endogenous Matching

Yuanzhang Xiao, Florian Dörfler+1 more|arXiv (Cornell University)|Nov 8, 2014

Auction Theory and Applications参考文献 7被引用数 5

ひとこと要約

本稿は、繰り返しのやり取りにおいて内生的で評価に基づくマッチングを用いることで、非対称情報と道徳的リスクの両方を同時に解決する、Peerレビュー制度のための新しいインcentiveメカニズムを提案する。過去のパフォーマンス評価に将来のマッチングと報酬を結びつけることで、非公開情報が不要な状況でも高い努力を促進し、ワンショット型または外部のマッチングルールと比較して、著しく向上したレビュー品質を達成する効率的均衡を実現する。

ABSTRACT

Peer review (e.g., grading assignments in Massive Open Online Courses (MOOCs), academic paper review) is an effective and scalable method to evaluate the products (e.g., assignments, papers) of a large number of agents when the number of dedicated reviewing experts (e.g., teaching assistants, editors) is limited. Peer review poses two key challenges: 1) identifying the reviewers' intrinsic capabilities (i.e., adverse selection) and 2) incentivizing the reviewers to exert high effort (i.e., moral hazard). Some works in mechanism design address pure adverse selection using one-shot matching rules, and pure moral hazard was addressed in repeated games with exogenously given and fixed matching rules. However, in peer review systems exhibiting both adverse selection and moral hazard, one-shot or exogenous matching rules do not link agents' current behavior with future matches and future payoffs, and as we prove, will induce myopic behavior (i.e., exerting the lowest effort) resulting in the lowest review quality. In this paper, we propose for the first time a solution that simultaneously solves adverse selection and moral hazard. Our solution exploits the repeated interactions of agents, utilizes ratings to summarize agents' past review quality, and designs matching rules that endogenously depend on agents' ratings. Our proposed matching rules are easy to implement and require no knowledge about agents' private information (e.g., their benefit and cost functions). Yet, they are effective in guiding the system to an equilibrium where the agents are incentivized to exert high effort and receive ratings that precisely reflect their review quality. Using several illustrative examples, we quantify the significant performance gains obtained by our proposed mechanism as compared to existing one-shot or exogenous matching rules.

研究の動機と目的

• Peerレビュー制度における非対称情報（未知のレビュアーの能力）と道徳的リスク（観察できない努力）の二重の課題に対処すること。
• レビュアーの費用関数や利益関数に関する非公開情報に依存せずに、高い努力を促すメカニズムを設計すること。
• 将来のマッチングと報酬が過去のパフォーマンスに依存するシステムを構築し、長期的なインセンティブを醸成すること。
• 内生的で評価に基づくマッチングが、ワンショット型または外部のマッチングルールよりもレビュー品質の面で優れていることを示すこと。
• 提案されたメカニズム下で、高い努力の均衡が存在し、安定している理論的条件を確立すること。

提案手法

• レビュアーの歴史的評価に基づいてマッチングが行われる動的で繰り返しのPeerレビュー枠組みを用いることで、内生的マッチングルールを構築する。
• レビュアーは、過去のレビュー品質を要約する評価を受ける。この評価は、将来のマッチングと報酬を決定するのに用いられる。
• レビューの質を反映する評価更新ルールを採用し、評価はレビュアーの能力と努力のシグナルとして機能する。
• 割引要因と努力に依存する費用関数・利益関数を組み込んだ、期待される将来報酬の再帰的定式化を用いる。
• 主要な方程式は、将来のインcentiveに基づいて最適な努力水準を選択する均衡条件を定義し、不等式 (30)-(35) が安定な均衡を特徴付ける。
• ベースラインメカニズムの拡張として、摂動（例：加法的項 γ）を導入し、同じ均衡条件下でもより高い評価プロファイルが達成可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非対称情報と道徳的リスクの両方を同時に緩和できるメカニズムを設計できるか？
• RQ2 繰り返しのやり取りとパフォーマンス評価をどのように活用することで、非公開情報なしに高い努力を促せるか？
• RQ3 レビュアーが高い努力を払い、正確な評価を受ける安定な均衡が存在するための条件は何か？
• RQ4 ワンショット型または外部マッチングと比較して、評価に基づく内生的マッチングは、システム全体のレビュー品質においてどのように異なるか？
• RQ5 マッチングルールに小さな摂動を加えることで、より高い均衡評価プロファイルを達成できるか？

主な発見

• 提案されたメカニズムは、レビュアーの能力や費用関数が未知であっても、高い努力を示す安定な均衡に到達する。
• ワンショット型または外部マッチングルールでは、レビュアーが最小限の努力を選択する短視眼的行動が生じ、最適でないレビュー品質が生じる。
• 評価に基づく内生的マッチングにより、ベースラインメカニズムよりも高い均衡評価プロファイルが達成され、性能が明確に優れている。
• 小さな摂動（例：γ > 0）を導入することで、拡張されたメカニズムは、より高い努力と評価を実現することができ、均衡結果をさらに改善できる。
• 理論的分析により、ベースラインルール下の任意の均衡に対して、小さな正の γ を用いた拡張ルール下で、より高い均衡評価プロファイルが達成可能であることが証明された。
• 具体的な例を通じて、レビュー品質の定量的向上が示され、既存のメカニズムと比較して顕著な性能向上が確認された。