[논문 리뷰] Incentive Design in Peer Review: Rating and Repeated Endogenous Matching

Yuanzhang Xiao, Florian Dörfler외 1명|arXiv (Cornell University)|2014. 11. 08.

Auction Theory and Applications참고 문헌 7인용 수 5

한 줄 요약

이 논문은 반복적 상호작용에서 내생적 평가 기반 매칭을 사용함으로써 부정적 선택과 도덕적 해거 문제를 동시에 해결하는 새로운 인센티브 메커니즘을 제안한다. 향후 매칭과 보상에 이전 성과 평가를 연계함으로써, 비밀 정보가 필요 없이도 높은 노력을 이끌어내며, 한 번의 상호작용이나 외생적 매칭 규칙에 비해 훨씬 향상된 리뷰 품질을 달성하는 효율적 균형을 실현한다.

ABSTRACT

Peer review (e.g., grading assignments in Massive Open Online Courses (MOOCs), academic paper review) is an effective and scalable method to evaluate the products (e.g., assignments, papers) of a large number of agents when the number of dedicated reviewing experts (e.g., teaching assistants, editors) is limited. Peer review poses two key challenges: 1) identifying the reviewers' intrinsic capabilities (i.e., adverse selection) and 2) incentivizing the reviewers to exert high effort (i.e., moral hazard). Some works in mechanism design address pure adverse selection using one-shot matching rules, and pure moral hazard was addressed in repeated games with exogenously given and fixed matching rules. However, in peer review systems exhibiting both adverse selection and moral hazard, one-shot or exogenous matching rules do not link agents' current behavior with future matches and future payoffs, and as we prove, will induce myopic behavior (i.e., exerting the lowest effort) resulting in the lowest review quality. In this paper, we propose for the first time a solution that simultaneously solves adverse selection and moral hazard. Our solution exploits the repeated interactions of agents, utilizes ratings to summarize agents' past review quality, and designs matching rules that endogenously depend on agents' ratings. Our proposed matching rules are easy to implement and require no knowledge about agents' private information (e.g., their benefit and cost functions). Yet, they are effective in guiding the system to an equilibrium where the agents are incentivized to exert high effort and receive ratings that precisely reflect their review quality. Using several illustrative examples, we quantify the significant performance gains obtained by our proposed mechanism as compared to existing one-shot or exogenous matching rules.

연구 동기 및 목표

• 피어 리뷰 시스템에서 알 수 없는 리뷰어 능력(부정적 선택)과 관찰할 수 없는 노력(도덕적 해거)이라는 이중적 과제를 해결하기 위해.
• 리뷰어의 비용 또는 이익 함수에 대한 비밀 정보에 의존하지 않고도 높은 노력을 유도하는 메커니즘을 설계하기 위해.
• 미래의 매칭과 보상이 과거 성과에 따라 결정되어 장기적 인센티브를 조성하는 시스템을 만들기 위해.
• 내생적 평가 기반 매칭이 한 번의 상호작용 또는 외생적 매칭 규칙에 비해 리뷰 품질 측면에서 뛰어나다는 것을 보여주기 위해.
• 제안된 메커니즘 하에서 높은 노력 균형이 존재하고 안정적인 조건을 설정하기 위해.

제안 방법

• 리뷰어들이 과거 평가 기반으로 매칭되는 동적이고 반복적인 피어 리뷰 프레임워크를 사용함으로써 내생적 매칭 규칙을 생성한다.
• 리뷰어들은 과거 리뷰 품질을 요약한 평가를 받으며, 이는 향후 매칭과 보상 결정에 사용된다.
• 리뷰 품질을 반영하는 평가 갱신 규칙을 도입하여, 평가가 리뷰어 능력과 노력의 신호로 기능하도록 한다.
• 할인 요인과 노력에 따라 달라지는 비용 및 이익 함수를 포함한 기대 향후 보상의 재귀적 수식을 사용한다.
• 핵심 방정식은 미래의 인centive에 기반해 최적의 노력 수준을 선택하는 균형 조건을 정의하며, 불등식 (30)-(35)는 안정된 균형을 특징짓는다.
• 기본 메커니즘에 대한 확장에서는 편향(예: 덧셈 항 γ)을 도입하여, 동일한 균형 조건 하에서도 더 높은 평가 프로파일을 달성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 부정적 선택과 도덕적 해거 문제를 동시에 완화할 수 있는 메커니즘을 설계할 수 있는가?
• RQ2 반복적 상호작용과 성과 평가를 어떻게 활용하여 비밀 정보를 드러내지 않고도 높은 노력을 이끌 수 있는가?
• RQ3 리뷰어가 높은 노력을 기울이고 정확한 평가를 받는 안정된 균형이 존재하기 위한 조건은 무엇인가?
• RQ4 평가 기반 내생적 매칭이 한 번의 상호작용 또는 외생적 매칭에 비해 시스템 전체의 리뷰 품질 측면에서 어떻게 다른가?
• RQ5 매칭 규칙에 작은 편향을 도입함으로써 동일한 균형 조건 하에서도 더 높은 균형 평가 프로파일을 달성할 수 있는가?

주요 결과

• 제안된 메커니즘은 리뷰어의 능력과 비용 함수가 알려져 있지 않더라도 안정된 균형에서 높은 노력을 기울이는 결과를 달성한다.
• 한 번의 상호작용 또는 외생적 매칭 규칙은 단기적 행동을 유도하며, 리뷰어들이 가능한 한 최소한의 노력을 기울여서 최적의 리뷰 품질을 달성하지 못한다.
• 평가 기반 내생적 매칭은 기본 메커니즘보다 더 높은 균형 평가 프로파일을 달성할 수 있으며, 엄밀히 더 뛰어난 성능을 보인다.
• 소규모 편향(예: γ > 0)을 도입함으로써 메커니즘이 확장되어 더 높은 노력 수준과 평가를 달성할 수 있으며, 이는 균형 결과를 향상시킨다.
• 이론적 분석을 통해 기본 규칙 하에서의 모든 균형에 대해, 작은 양의 γ를 도입함으로써 더 높은 균형 평가 프로파일을 달성할 수 있음을 증명하였다.
• 구체적인 예시를 통해 리뷰 품질 향상의 정량적 성과를 입증하였으며, 이는 기존 메커니즘에 비해 뚜렷한 성능 향상을 보였다.