[論文レビュー] Eliciting forecasts from self-interested experts: scoring rules for decision makers

Craig Boutilier|arXiv (Cornell University)|Jun 4, 2012

Sports Analytics and Performance参考文献 18被引用数 32

ひとこと要約

本稿では、専門家が意思決定者の選択に個人的利害を持つ場合に、専門家のインセンティブを真実の予測と一致させる補償ルールを開発する。補償と専門家の効用を組み合わせることで、専門家の好みについての不確実性がある場合でも真実性を保証するネットスコアルールを構築し、誤報告と意思決定者の損失の上限を提供する。

ABSTRACT

Scoring rules for eliciting expert predictions of random variables are usually developed assuming that experts derive utility only from the quality of their predictions. We study more realistic settings in which (a) the principal is a decision maker who takes a decision based on the expert's prediction; and (b) the expert has an inherent interest in the decision. Not surprisingly, in such situations, the expert usually has an incentive to misreport her forecast to influence the choice of the decision maker. We develop a general model for this setting and introduce the concept of a compensation rule. When combined with the expert's inherent utility for decisions, a compensation rule induces a net scoring rule that behaves like a traditional scoring rule. Assuming full knowledge of expert utility, we provide a complete characterization of all (strictly) proper compensation rules. We then analyze the case when the expert's utility function is not fully known to the decision maker. We show bounds on: (a) expert incentive to misreport; (b) the degree to which an expert will misreport; and (c) decision maker loss in utility due to such uncertainty. These bounds depend in natural ways on the degree of uncertainty, the local degree of convexity of net scoring function, and properties of the decision maker's utility function. Finally, we briefly discuss the use of compensation rules in prediction markets.

研究の動機と目的

• 専門家が予測の正確さにのみ関心を持つものと仮定するスコアリングルールのギャップを埋める。
• 意思決定に内在する効用から利益を得る専門家がいる設定をモデル化し、予測の誤報告を誘発するインセンティブを生じさせる。
• 補償ルールを設計し、専門家の効用と組み合わせることで、真実の報告を促すネットスコアルールを構築する。
• 専門家の効用関数を完全に把握している場合に、厳密に適正な補償ルールをすべて特徴付ける。
• 専門家の効用関数についての不確実性が、予測インセンティブと意思決定者の効用損失に与える影響を分析する。

提案手法

• 意思決定者が専門家の予測を用いて意思決定を行う一般モデルを導入し、専門家が予測の正確さと意思決定の結果の両方から効用を得ることを仮定する。
• 予測と意思決定に基づいて支払いを調整する補償ルールを定義し、専門家の意思決定に対する内発的関心を相殺する。
• 専門家の予測スコアリングルールと補償ルールの和としてネットスコアルールを構築し、適切にキャリブレーションされた場合に真実性が保証される。
• 凸解析を用いて、専門家の効用関数を完全に把握している場合の厳密に適正な補償ルールを特徴付ける。
• 専門家の効用関数が部分的にしか分かっていない場合に、ネットスコア関数の局所的凸性に基づいて、専門家の誤報告と意思決定者の効用損失の上限を導出する。
• 予測市場への適用のために、市場メカニズムにおける補償ルールの実装方法を議論する。

実験結果

リサーチクエスチョン

• RQ1 専門家が意思決定結果に個人的利害を持つ場合に、真実の予測を保証する補償ルールはどのように設計できるか？
• RQ2 専門家の効用関数を完全に把握している場合に、結果として得られるネットスコアルールが厳密に適正であるための補償ルールの条件は何か？
• RQ3 専門家の効用関数についての不確実性が、専門家の予測の誤報告を誘発するインセンティブに与える影響は何か？
• RQ4 専門家の好みの不確実性によって生じる誤報告の度合いと意思決定者の効用損失の上限は何か？
• RQ5 提案された補償ルールは、予測市場において使用可能で、正確な予測を引き出すために適応可能か？

主な発見

• 意思決定者が専門家の効用関数を完全に把握している場合、すべての厳密に適正な補償ルールが完全に特徴付けられる。
• 専門家の効用についての不確実性がある場合、専門家の誤報告のインセンティブは、ネットスコア関数の局所的凸性の度合いによって上限が定まる。
• 専門家の誤報告による意思決定者の期待効用損失は上限があり、不確実性の度合いとネットスコア関数の曲率に依存する。
• ネットスコア関数の局所的凸性が大きいほど、誤報告と効用損失の上限はより厳しくなる。
• このフレームワークは予測市場へ拡張可能であり、市場ベースの予測メカニズムにおけるインセンティブを一致させるために補償ルールを活用できる。
• 補償と予測スコアリングを組み合わせたネットスコアルールは、専門家の効用が適切に反映されていれば、従来の適正スコアリングルールと同様に動作する。