[论文解读] Eliciting forecasts from self-interested experts: scoring rules for decision makers

Craig Boutilier|arXiv (Cornell University)|Jun 4, 2012

Sports Analytics and Performance参考文献 18被引用 32

一句话总结

本文提出了补偿规则，以在专家对决策者的选择有个人利益时，使其预测激励与诚实预测保持一致。通过将补偿与专家效用相结合，构建了一个净评分规则，即使在对专家偏好不确定的情况下也能确保诚实性，并提供了错误报告和决策损失的界限。

ABSTRACT

Scoring rules for eliciting expert predictions of random variables are usually developed assuming that experts derive utility only from the quality of their predictions. We study more realistic settings in which (a) the principal is a decision maker who takes a decision based on the expert's prediction; and (b) the expert has an inherent interest in the decision. Not surprisingly, in such situations, the expert usually has an incentive to misreport her forecast to influence the choice of the decision maker. We develop a general model for this setting and introduce the concept of a compensation rule. When combined with the expert's inherent utility for decisions, a compensation rule induces a net scoring rule that behaves like a traditional scoring rule. Assuming full knowledge of expert utility, we provide a complete characterization of all (strictly) proper compensation rules. We then analyze the case when the expert's utility function is not fully known to the decision maker. We show bounds on: (a) expert incentive to misreport; (b) the degree to which an expert will misreport; and (c) decision maker loss in utility due to such uncertainty. These bounds depend in natural ways on the degree of uncertainty, the local degree of convexity of net scoring function, and properties of the decision maker's utility function. Finally, we briefly discuss the use of compensation rules in prediction markets.

研究动机与目标

• 填补评分规则中假设专家仅关心预测准确性而非决策结果的空白。
• 建模专家因决策本身而产生内在效用的情境，从而产生虚报预测的激励。
• 设计补偿规则，当与专家效用结合时，生成一个激励诚实报告的净评分规则。
• 在完全知晓专家效用函数的前提下，刻画所有严格适当的补偿规则。
• 分析专家效用不确定性对预测激励和决策者效用损失的影响。

提出的方法

• 引入一个通用模型，其中决策者使用专家预测来做出决策，而专家从预测准确性和决策结果中均获得效用。
• 定义一种补偿规则，根据预测和决策调整支付，以抵消专家对决策结果的固有偏好。
• 将专家的预测评分规则与补偿规则相加，构建净评分规则，通过适当校准确保诚实性。
• 使用凸分析，在完全知晓专家效用函数的前提下刻画严格适当的补偿规则。
• 基于净评分函数的局部凸性，推导出在专家效用部分已知时，专家错误报告和决策者效用损失的界限。
• 将该框架应用于预测市场，讨论如何在市场机制中实现补偿规则。

实验结果

研究问题

• RQ1 当专家对决策结果有个人利益时，如何设计补偿规则以确保诚实预测？
• RQ2 在完全知晓专家效用函数的前提下，补偿规则需满足什么条件，才能保证生成的净评分规则是严格适当的？
• RQ3 对专家效用函数的不确定性如何影响专家虚报预测的激励？
• RQ4 由于专家偏好不确定性导致的错误报告程度和决策者效用损失的界限是什么？
• RQ5 所提出的补偿规则能否适应预测市场，以获取准确的预测？

主要发现

• 当决策者完全知晓专家效用函数时，所有严格适当的补偿规则均可被完全刻画。
• 在专家效用不确定的情况下，专家虚报的激励受净评分函数局部凸度的限制。
• 由于专家虚报导致的决策者期望效用损失是有限的，且取决于不确定程度和净评分函数的曲率。
• 当净评分函数在局部更凸时，错误报告和效用损失的界限更紧。
• 该框架可扩展至预测市场，其中补偿规则可用于在基于市场的预测机制中对齐激励。
• 通过结合补偿和预测评分构建的净评分规则，当正确考虑专家效用时，其行为类似于传统的严格适当评分规则。