[论文解读] Designing Optimal Binary Rating Systems

Nikhil Garg, Ramesh Johari|arXiv (Cornell University)|Jun 18, 2018

Auction Theory and Applications被引用 5

一句话总结

本文提出了一种二元评分系统最优设计，利用大偏差理论最大化学习项目排名的速度。该文提出一种高效算法，用于计算最优评分函数 β(θ)，该函数将项目质量 θ 映射到正向评分的概率，并利用来自 Amazon Mechanical Turk 的真实数据验证了该方法，结果表明，定制化问题相比标准二元反馈，能显著提升排名准确性和学习速度。

ABSTRACT

Modern online platforms rely on effective rating systems to learn about items. We consider the optimal design of rating systems that collect binary feedback after transactions. We make three contributions. First, we formalize the performance of a rating system as the speed with which it recovers the true underlying ranking on items (in a large deviations sense), accounting for both items' underlying match rates and the platform's preferences. Second, we provide an efficient algorithm to compute the binary feedback system that yields the highest such performance. Finally, we show how this theoretical perspective can be used to empirically design an implementable, approximately optimal rating system, and validate our approach using real-world experimental data collected on Amazon Mechanical Turk.

研究动机与目标

• 将二元评分系统的性能形式化为大偏差理论中的学习速度，以恢复真实项目排名。
• 开发一种高效算法，用于计算最优评分函数 β(θ)，以最大化学习速度。
• 通过设计可实施的评分问题，弥合理论与实践之间的鸿沟，使真实平台中实现接近最优的 β(θ) 行为。
• 利用来自 Amazon Mechanical Turk 的实证数据验证理论框架，证明排名准确性与学习效率得到提升。

提出的方法

• 将评分系统形式化为伯努利过程，其中项目质量 θ 决定正向评分的概率 β(θ)。
• 利用大偏差理论量化排名恢复的学习速度，将其视为错误排序概率指数衰减的速率。
• 通过在评分函数上求解约束优化问题，以最大化大偏差率函数，从而优化 β(θ)。
• 对项目质量进行离散化处理，并使用数值优化方法，计算给定平台目标和匹配率下的最优 β(θ)。
• 推导出理论收敛结果，表明随着分辨率提高，β(θ) 的离散近似值一致收敛于真实最优函数。
• 利用来自 Amazon Mechanical Turk 的真实世界实验数据验证该方法，结果表明，定制化问题诱导出的行为接近理论上的 β(θ)。

实验结果

研究问题

• RQ1 在二元评分系统中，何种最优评分函数 β(θ) 能够最大化学习真实项目排名的速度？
• RQ2 平台如何设计问题，以诱导用户根据期望的 β(θ) 函数进行评分？
• RQ3 不同平台目标（如识别最佳或最差项目）如何影响最优 β(θ) 的结构？
• RQ4 最优 β(θ) 如何依赖于项目匹配率以及被排名项目的数量？
• RQ5 理论上的最优 β(θ) 是否能通过真实用户行为在实践中得到经验近似并实现？

主要发现

• 最优 β(θ) 具有上下文依赖性且非对称；对于质量满足 θa > θb > θc 的三个项目，最优 β(θb) 约为 0.28，而非直觉上预期的 0.3。
• 最优评分函数依赖于平台目标：若目标是识别最差项目，则顶级项目需具有至少 80% 的正向评分率。
• 在匹配率相同且项目重要性相等的情况下，最优 β(θ) 并非线性，而是呈偏斜分布，以减少排名估计的方差。
• 理论框架表明，随着评分分箱数量增加，β(θ) 的离散近似值一致收敛于真实最优函数。
• 在 Amazon Mechanical Turk 数据上的实证验证表明，定制化问题（如“这是你经历过的最差体验吗？”）诱导出的行为接近理论上的 β(θ)，显著提升了学习速度。
• 与标准二元反馈（如点赞/点踩）相比，该方法通过降低错误排序概率并加速收敛至真实排名，实现了更优性能。