[论文解读] Debiasing Evaluations That are Biased by Evaluations

Jingyan Wang, Ivan Stelmakh+2 more|arXiv (Cornell University)|Dec 1, 2020

Multi-Criteria Decision Making参考文献 43被引用 4

一句话总结

本文提出一种正则化优化方法，通过已知的结果部分序关系，消除由结果诱导偏差影响的评分——例如受成绩影响而偏斜的学生评价，或受论文接收状态影响的作者评审——利用已知的部分序关系对结果进行建模。该方法提供理论保证和自适应交叉验证以调节正则化强度，即使在缺乏真实标签的情况下，也能在评分存在偏差时更准确地估计物品的真实质量。

ABSTRACT

It is common to evaluate a set of items by soliciting people to rate them. For example, universities ask students to rate the teaching quality of their instructors, and conference organizers ask authors of submissions to evaluate the quality of the reviews. However, in these applications, students often give a higher rating to a course if they receive higher grades in a course, and authors often give a higher rating to the reviews if their papers are accepted to the conference. In this work, we call these external factors the "outcome" experienced by people, and consider the problem of mitigating these outcome-induced biases in the given ratings when some information about the outcome is available. We formulate the information about the outcome as a known partial ordering on the bias. We propose a debiasing method by solving a regularized optimization problem under this ordering constraint, and also provide a carefully designed cross-validation method that adaptively chooses the appropriate amount of regularization. We provide theoretical guarantees on the performance of our algorithm, as well as experimental evaluations.

研究动机与目标

• 解决评分中的结果诱导偏差问题，即评估者的反馈系统性地受到其自身结果（如成绩或录用决定）的影响。
• 利用已知的结果部分序关系（如学生成绩或论文录用结果）对偏差结构进行建模。
• 构建一种正则化优化框架，强制实施该部分序约束，以生成去偏评分。
• 设计一种自适应交叉验证方法，无需真实标签即可选择最优正则化强度。

提出的方法

• 基于已知结果（如成绩、录用状态）将结果诱导偏差建模为评估者偏差上的部分序约束。
• 提出一种正则化优化问题，最小化评分偏差，同时尊重偏差上的部分序约束。
• 采用Tikhonov型正则化以稳定解并防止对噪声或偏差评分的过拟合。
• 设计一种交叉验证程序，通过在保留数据上评估模型性能，自适应地调整正则化参数，且在部分序约束下进行。
• 将该方法应用于教学评估和会议同行评审等真实场景，其中结果偏差已有充分记录。
• 理论分析表明，在弱正则性条件下方法具有一致性和收敛性，估计误差存在界，其规模为 O(√(log d)/d^{1/4})，其中 d 为评分空间的维度。

实验结果

研究问题

• RQ1 当通过结果排序已知偏差方向时，能否有效校正结果诱导偏差？
• RQ2 如何设计一种正则化框架，以强制实施来自已知结果排序的结构约束？
• RQ3 当真实标签未知且偏差结构仅部分已知时，应施加多大程度的正则化？
• RQ4 与固定正则化相比，所提出的自适应交叉验证方法在估计精度方面表现如何？
• RQ5 该方法能否在存在偏差反馈的情况下，始终如一地恢复真实的物品质量排序？

主要发现

• 在合成数据与真实世界评估中，所提出的去偏方法显著优于朴素平均或未正则化方法的估计精度。
• 自适应交叉验证成功选择了能最小化偏差与估计误差的正则化参数，即使在无真实标签的情况下亦然。
• 理论分析证实，该方法在弱正则性条件下可实现一致估计，误差界为 O(√(log d)/d^{1/4})，适用于 d 维评分空间。
• 实证结果表明，该方法能有效逆转一种反直觉趋势：即表现更优的教师或评审者因结果偏差反而获得更低评分。
• 该方法在不同偏差与噪声水平下均保持鲁棒性，在恢复真实物品质量方面优于基线方法。