[논문 리뷰] Eliciting forecasts from self-interested experts: scoring rules for decision makers

Craig Boutilier|arXiv (Cornell University)|2012. 06. 04.

Sports Analytics and Performance참고 문헌 18인용 수 32

한 줄 요약

이 논문은 전문가가 의사결정자의 선택에 개인적 이해관계를 가질 경우, 전문가의 인센티브를 정직한 예측과 일치시키기 위한 보상 규칙을 개발한다. 전문가의 유틸리티와 보상 규칙을 조합하여 진정성 보장이 가능한 네트워크 스코링 규칙을 구성하며, 전문가 선호도에 대한 불확실성 하에서도 작동하며, 잘못된 보고와 의사결정자 손실의 범위를 제한한다.

ABSTRACT

Scoring rules for eliciting expert predictions of random variables are usually developed assuming that experts derive utility only from the quality of their predictions. We study more realistic settings in which (a) the principal is a decision maker who takes a decision based on the expert's prediction; and (b) the expert has an inherent interest in the decision. Not surprisingly, in such situations, the expert usually has an incentive to misreport her forecast to influence the choice of the decision maker. We develop a general model for this setting and introduce the concept of a compensation rule. When combined with the expert's inherent utility for decisions, a compensation rule induces a net scoring rule that behaves like a traditional scoring rule. Assuming full knowledge of expert utility, we provide a complete characterization of all (strictly) proper compensation rules. We then analyze the case when the expert's utility function is not fully known to the decision maker. We show bounds on: (a) expert incentive to misreport; (b) the degree to which an expert will misreport; and (c) decision maker loss in utility due to such uncertainty. These bounds depend in natural ways on the degree of uncertainty, the local degree of convexity of net scoring function, and properties of the decision maker's utility function. Finally, we briefly discuss the use of compensation rules in prediction markets.

연구 동기 및 목표

• 전문가가 예측 정확도에만 관심을 갖는다고 가정하는 스코링 규칙의 격차를 해결한다.
• 전문가가 의사결정으로부터 내재된 유틸리티를 얻는 설정을 모델링하여, 예측을 잘못 보고할 인센티브를 생성한다.
• 전문가 유틸리티와 조합될 때 진정한 보고를 유도하는 보상 규칙을 개발한다.
• 전문가 유틸리티 함수를 완전히 알고 있을 경우의 엄격히 적절한 보상 규칙을 특성화한다.
• 전문가 유틸리티에 대한 불확실성이 예측 인센티브와 의사결정자 유틸리티 손실에 미치는 영향을 분석한다.

제안 방법

• 의사결정자가 전문가의 예측을 바탕으로 결정을 내리는 일반적인 모델을 도입하며, 전문가가 예측 정확도와 의사결정 결과 양쪽에서 유틸리티를 얻는다.
• 예측과 결정에 따라 지급액을 조정하는 보상 규칙을 정의하여, 전문가가 의사결정에 대해 내재된 관심을 상쇄시킨다.
• 전문가의 예측 스코링 규칙과 보상 규칙을 합산하여 네트워크 스코링 규칙을 구성하며, 적절하게 校정된 경우 진정성을 보장한다.
• 볼록 해석을 사용하여 전문가 유틸리티를 완전히 알고 있을 경우의 엄격히 적절한 보상 규칙을 특성화한다.
• 전문가 유틸리티가 부분적으로 알려져 있을 경우, 네트워크 스코링 함수의 국소 볼록성에 기반해 잘못된 보고와 의사결정자 유틸리티 손실의 범위를 유도한다.
• 시장 메커니즘에서 보상 규칙을 어떻게 구현할 수 있는지 논의함으로써 예측 시장에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 전문가가 의사결정 결과에 개인적 이해관계를 가질 경우, 어떻게 보상 규칙을 설계하여 정직한 예측을 보장할 수 있는가?
• RQ2 전문가 유틸리티를 완전히 알고 있을 경우, 결과 네트워크 스코링 규칙이 엄격히 적절해지도록 보장하는 보상 규칙의 조건은 무엇인가?
• RQ3 전문가의 유틸리티 함수에 대한 불확실성이 전문가의 잘못된 보고 인센티브에 어떻게 영향을 미치는가?
• RQ4 전문가 선호도의 불확실성으로 인해 발생하는 잘못된 보고 정도와 의사결정자 유틸리티 손실의 범위는 무엇인가?
• RQ5 제안된 보상 규칙은 예측 시장에서 사용될 수 있도록 적응 가능할까?

주요 결과

• 의사결정자가 전문가의 유틸리티 함수를 완전히 알고 있을 경우, 모든 엄격히 적절한 보상 규칙이 완전히 특성화된다.
• 전문가 유틸리티에 대한 불확실성이 있을 경우, 전문가의 잘못된 보고 인센티브는 네트워크 스코링 함수의 국소 볼록도에 의해 제한된다.
• 전문가의 잘못된 보고로 인한 의사결정자의 기대 유틸리티 손실은 유한하며, 불확실성 정도와 네트워크 스코링 함수의 곡률에 따라 달라진다.
• 네트워크 스코링 함수가 국소적으로 더 볼록할수록 잘못된 보고와 유틸리티 손실의 범위는 더 좁아진다.
• 이 프레임워크는 예측 시장으로 확장 가능하며, 보상 규칙을 사용해 마켓 기반 예측 메커니즘에서 인센티브를 일치시킬 수 있다.
• 예측 스코링과 보상의 조합으로 만들어진 네트워크 스코링 규칙은 전문가 유틸리티를 적절히 반영할 경우, 전통적인 적절한 스코링 규칙처럼 행동한다.