[论文解读] Incentives for Truthful Peer Grading

Luca de Alfaro, Michael Shavlovsky+1 more|arXiv (Cornell University)|Apr 11, 2016

Machine Learning and Algorithms参考文献 16被引用 12

一句话总结

本文提出了三种激励机制——平级监督、分层监督和无监督机制，以在教育环境中鼓励诚实的同伴评分。通过在教师监督或统计一致性下使学生激励与准确评分对齐，这些机制确保诚实评分是纳什均衡，其中分层和无监督方法在大规模课堂（如MOOC）中具有高效可扩展性。

ABSTRACT

Peer grading systems work well only if users have incentives to grade truthfully. An example of non-truthful grading, that we observed in classrooms, consists in students assigning the maximum grade to all submissions. With a naive grading scheme, such as averaging the assigned grades, all students would receive the maximum grade. In this paper, we develop three grading schemes that provide incentives for truthful peer grading. In the first scheme, the instructor grades a fraction p of the submissions, and penalizes students whose grade deviates from the instructor grade. We provide lower bounds on p to ensure truthfulness, and conclude that these schemes work only for moderate class sizes, up to a few hundred students. To overcome this limitation, we propose a hierarchical extension of this supervised scheme, and we show that it can handle classes of any size with bounded (and little) instructor work, and is therefore applicable to Massive Open Online Courses (MOOCs). Finally, we propose unsupervised incentive schemes, in which the student incentive is based on statistical properties of the grade distribution, without any grading required by the instructor. We show that the proposed unsupervised schemes provide incentives to truthful grading, at the price of being possibly unfair to individual students.

研究动机与目标

• 解决同伴评分中的串通问题，即学生为最小化工作量并最大化收益而对所有提交内容给予最高分。
• 设计激励机制，使理性学生在存在串通的情况下仍将诚实评分作为最优策略。
• 开发可扩展的解决方案——尤其适用于大规模班级——在教师参与保持有限且最小的前提下。
• 评估不依赖教师评分的无监督机制在公平性和鲁棒性方面的表现，同时确保诚实评分在期望下仍为最优。

提出的方法

• 在平级监督机制中，教师对比例为 $ p $ 的提交内容进行评分，学生因偏离教师评分而受到惩罚，且 $ p $ 有下限以确保诚实评分。
• 分层机制将学生组织成树状结构，每位学生评审提交内容并将其评分与父节点比较；该机制可确保教师工作量与班级规模无关。
• 在无监督机制中，评审者根据其评分与预期评分分布及自身评分方差的偏离程度进行评分，使用一种惩罚不一致性和缺乏方差的损失函数。
• 损失函数结合了同伴一致性与方差一致性，通过参数 $ \gamma $、$ \eta^2 $ 和 $ \sigma_q^2 $ 建模激励与公平性。
• 博弈论分析表明，在所提出的损失函数下，诚实评分是纳什均衡，并优于其他策略。
• 推导出理论边界，以确定在成本 $ C $ 和方差假设下，诚实评分何时相比串谋策略 $ \mathcal{D}_\eta $ 最小化损失。

实验结果

研究问题

• RQ1 在具有激励机制的同伴评分系统中，诚实评分在何种条件下成为纳什均衡？
• RQ2 如何在确保诚实评分的同时最小化教师参与度，特别是在大规模同伴评估系统中？
• RQ3 基于评分分布统计特性的无监督激励机制是否能在无教师输入的情况下促进诚实评分？
• RQ4 在无监督评分机制中，个体公平性与激励一致性之间存在何种权衡？
• RQ5 评分成本如何影响诚实评分的激励？在何种成本与方差边界下可确保诚实行为？

主要发现

• 平级监督机制在教师至少评分比例 $ p $ 的提交内容时可确保诚实评分，但该要求随班级规模增加而上升，限制了其在中等规模班级外的应用。
• 分层机制通过仅需教师固定数量的评分，实现了教师工作量的有界性，从而支持诚实评分，且与班级规模无关。
• 在无监督机制中，当真实评分分布的方差 $ \sigma_q^2 $ 超过串谋策略的方差 $ \eta^2 $，且评分成本 $ C < \sigma_q^2 $ 时，诚实评分在期望下为最优。
• 无监督机制不具备个体公平性：即使评分诚实，对质量相似的提交内容进行评审的学生可能因真实质量方差低而受到更严厉惩罚。
• 对于无监督机制，当 $ \gamma $ 满足由 $ C $、$ \eta^2 $ 和 $ \sigma_q^2 $ 导出的特定边界时，诚实评分优于串谋策略 $ \mathcal{D}_\eta $，确保诚实评审者损失更低。
• 理论分析确认，诚实评分是纳什均衡，并在所提出的激励结构下获得比任何其他均衡更高的回报。