[論文レビュー] Surrogate Scoring Rules and a Dominant Truth Serum

Yang Liu, Yiling Chen|arXiv (Cornell University)|Feb 26, 2018

Auction Theory and Applications被引用数 2

ひとこと要約

本稿では、真の結果が入手不可能な状況下でも、エージェントが確実に確率的予測を報告するようインcentivizeする方法として、サーロゲートスコアリングルール（SSR）を導入する。真の結果が利用できない状況において、エージェントの報告を用いてバイアスと誤差率を推定することで、SSRは期待値において厳密な適正スコアリングルール（SPSR）の性能を達成する。これにより、真の結果が入手できない状況下でも、正確でインcentive-compatibleな予測評価が可能になる。

ABSTRACT

Strictly proper scoring rules (SPSR) are incentive compatible for eliciting information about random variables from strategic agents when the principal can reward agents after the realization of the random variables. They also quantify the quality of elicited information, with more accurate predictions receiving higher scores in expectation. In this paper, we extend such scoring rules to settings where a principal elicits private probabilistic beliefs but only has access to agents' reports. We name our solution \emph{Surrogate Scoring Rules} (SSR). SSR build on a bias correction step and an error rate estimation procedure for a reference answer defined using agents' reports. We show that, with a single bit of information about the prior distribution of the random variables, SSR in a multi-task setting recover SPSR in expectation, as if having access to the ground truth. Therefore, a salient feature of SSR is that they quantify the quality of information despite the lack of ground truth, just as SPSR do for the setting \emph{with} ground truth. As a by-product, SSR induce \emph{dominant truthfulness} in reporting. Our method is verified both theoretically and empirically using data collected from real human forecasters.

研究の動機と目的

• 真の結果が入手不可能な状況下で確率的予測を評価する課題に取り組むこと。これは、エキスパートのエリシテーションや予測市場など、現実世界の設定で一般的に見られる問題である。
• 観測された結果に依存せずに、インcentive-compatibleなスコアリングメカニズムを設計すること。特に、支配的真実報告（dominant truthfulness）を維持することを目的とする。
• 真の結果が利用可能な場合と同様に、予測の質を期待値として定量的に評価できることを保証すること。これは、真の結果が利用可能な場合に厳密な適正スコアリングルール（SPSR）が達成する性能を模倣することを意味する。
• 複数のタスクにまたがる予測設定において、1つのビットの事前分布情報のみを用いても、期待値としてSPSRの性能を回復できることを実現すること。
• 実際の人間の予測者を用いた実証的検証を通じて、本手法の頑健性と実用的有用性を示すこと。

提案手法

• SSRは、真の結果が入手できない状況において、エージェントの報告を用いてサーロゲート基準値（surrogate reference answer）を構築する。これにより、報告を真の結果の代理として用いる。
• バイアス補正ステップでは、集団の経験的分布に一致するように、個々の報告を調整することで、系統的な誤差を低減する。
• 誤差率は、経験的分散とエージェント間の合意不一致（disagreement）を用いて推定され、予測の正確性のサーロゲート測度を形成する。
• スコア関数は、確率変数の分布に関する1ビットの事前情報を使ってキャリブレーションされ、期待値としてSPSRの性質を回復可能になる。
• 真の結果が入手不可であっても、他のエージェントの報告にかかわらず、真実の報告が最適戦略となるように、支配的真実報告を保証する。
• SSRは、複数の予測タスクにまたがるマルチタスク学習を活用し、サーロゲート基準値の推定精度と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 真の結果が不明な状況下でも、真実の報告を促すスコアリングルールを設計できるか。また、真の結果が利用可能な場合と同等の厳密さで予測の質を評価できるか？
• RQ2 真の結果が入手不可な状況下で、エージェントの報告のみを用いて個々の予測の誤差率とバイアスを推定する方法は何か？
• RQ3 真の結果が存在しない状況下でも、SSRが期待値として厳密な適正スコアリングルール（SPSR）の性能をどの程度回復できるか？
• RQ4 戦略的報告の設定下で、エージェントが報告を操作するインセンティブを持つ状況においても、SSRは支配的真実報告を誘発するか？
• RQ5 実際の人間の予測者を用いた実証的検証を通じて、SSRがインセンティブ適合性と正確な質の評価を両立できることを示せるか？

主な発見

• 真の結果が入手不可であっても、SSRは期待値として、真実の報告に対して厳密な適正スコアリングルール（SPSR）と同等の期待スコアを達成する。
• 確率変数の分布に関する1ビットの事前情報のみを用いても、複数のタスクにわたる期待値としてSPSRの性能を回復する。
• 本手法は支配的真実報告を誘発する。これは、他のエージェントの報告にかかわらず、真実の報告が最適戦略であることを意味し、強いインセンティブ適合性を保証する。
• 実際の人間の予測者を用いた実証的評価により、SSRが予測者の質に基づいて適切に順位付けを行い、真実の報告を促すインセンティブを維持していることが確認された。
• エージェントの報告から構築されたサーロゲート基準値は、バイアスと誤差を効果的に推定でき、真の結果が入手不可な状況下でも信頼性の高い質の評価を可能にする。
• マルチタスク設定においてSSRは頑健性を示し、集団の報告がサーロゲート基準値の正確性を向上させ、全体の評価の整合性を高める。