[論文レビュー] Calibration Scoring Rules for Practical Prediction Training

Spencer Greenberg|arXiv (Cornell University)|Aug 22, 2018

Statistics Education and Methodologies参考文献 2被引用数 3

ひとこと要約

本稿では、現実世界の予測システムにおけるキャリブレーショントレーニングを改善するため、'実用的'なスコアリングルール——特に'距離'および'数量オーダー'ルール——を導入する。これらのルールは、数学的厳密性よりもユーザの直感的把握と心理的明快性を重視し、ゼロ点や非有界の負のスコアを回避するように標準的な適切スコアリングルールを変更することで、明確なフィードバックと迅速な学習を可能にする。これは、厳密な適切性の犠牲を伴うが、実用性を高めるものである。

ABSTRACT

In situations where forecasters are scored on the quality of their probabilistic predictions, it is standard to use `proper' scoring rules to perform such scoring. These rules are desirable because they give forecasters no incentive to lie about their probabilistic beliefs. However, in the real world context of creating a training program designed to help people improve calibration through prediction practice, there are a variety of desirable traits for scoring rules that go beyond properness. These potentially may have a substantial impact on the user experience, usability of the program, or efficiency of learning. The space of proper scoring rules is too broad, in the sense that most proper scoring rules lack these other desirable properties. On the other hand, the space of proper scoring rules is potentially also too narrow, in the sense that we may sometimes choose to give up properness when it conflicts with other properties that are even more desirable from the point of view of usability and effective training. We introduce a class of scoring rules that we call `Practical' scoring rules, designed to be intuitive to users in the context of `right' vs. `wrong' probabilistic predictions. We also introduce two specific scoring rules for prediction intervals, the `Distance' and `Order of magnitude' rules. These rules are designed to satisfy a variety of properties that, based on user testing, we believe are desirable for applied calibration training.

研究の動機と目的

• 標準的な適切スコアリングルールが現実世界のキャリブレーショントレーニングにおいて抱える制限を、数学的適切性を超えた心理的要因と使いやすさ要因を組み込むことで解決すること。
• ユーザが直感的かつ実行可能にフィードバックを受け取れるスコアリングルールを設計し、予測トレーニングアプリケーションにおける迅速な学習と高いユーザ参加度を実現すること。
• 確率的予測の伝統的なスコアリングシステムで生じるゼロ点や非有界の負のスコアによるユーザの混乱を解消すること。
• 真の値が予測区間の境界上に位置する場合でも最小限の正のスコアが得られるように、予測区間のスコアリングルールを開発すること。真の値が区間中央に近い場合、より狭い区間が報酬を得るようにすること。
• 数学的厳密性と実用的使いやすさのバランスを図るために、異なる予測タイプに一貫性を保つパラメータ化されたルールを導入すること。

提案手法

• ユーザの直感的把握と心理的明快性を最優先するが、数学的完全性を犠牲にした'実用的'スコアリングルールを、適切スコアリングルールの変種としてクラスとして提案する。
• 予測区間向けに'距離'スコアリングルールを導入。真の値が区間中央に近いほど高いスコアが得られ、より狭い区間はより高い報酬を得る。
• 対数的距離を用いて予測誤差を評価する'数量オーダー'スコアリングルールを導入。真の値と予測値の数量オーダーが近いほど高いスコアが得られる。
• 最小スコア $ s_{min} = -57.26893683880667 $ を持つ有界スコア関数を適用し、非有界の損失を回避し、直感に反するゼロ点の結果を防ぐ。
• 境界上に真の値がある場合に正のスコアが得られるように、予測区間の拡張係数 $ au = 0.4 $ を導入。これにより、ユーザの公平性認識が向上する。
• ユーザの期待とトレーニング効率に合わせるため、$ s_{max} = 10 $、$ p_{max} = 0.99 $、およびスケールパラメータ $ c = 100 $（距離）と $ c = \ln(100) \approx 4.605 $（数量オーダー）を調整してキャリブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 確率的予測のためのスコアリングルールを、現実世界のキャリブレーショントレーニングアプリケーションにおける使いやすさと心理的明快性を向上させるために、どのように再設計できるか？
• RQ2 ゼロ点や非有界の負のスコアといった直感に反する結果を回避するため、標準的な適切スコアリングルールに必要な修正は何か？
• RQ3 厳密な適切性を多少犠牲にすることで、予測トレーニングシステムにおける学習体験とフィードバックの明確さがどの程度向上するか？
• RQ4 有界かつ拡張されたスコアリングルールは、予測区間を用いた数値予測において、ユーザの認識と学習速度にどのように影響するか？
• RQ5 数学的整合性、ユーザの直感、トレーニング効率のバランスを最適化するパラメータ選択は何か？

主な発見

• '距離'および'数量オーダー'スコアリングルールは、真の値が予測区間の境界上に位置する場合にゼロ点報酬が生じる問題を効果的に解消した。これは、従来、ユーザが混乱を覚えていた点である。
• 最小スコア $ s_{min} = -57.26893683880667 $ を導入することで、非有界の負のスコアが回避され、極端なポイント損失による心理的不快感が解消された。
• 拡張係数 $ au = 0.4 $ により、真の値が境界上にある予測に対して正のスコアが得られ、ユーザ満足度が向上し、正しい行動の強化が図られた。
• $ p_{max} = 0.99 $ および $ s_{max} = 10 $ を設定することで、ユーザが調整が困難で数値的外れ値を引き起こしやすい極端な確率を選択するのを防ぎ、使いやすさが向上した。
• スケールパラメータ $ c = 100 $ および $ c = \ln(100) $ は、それぞれ100倍のずれ、または2桁の数量オーダーのずれを'中程度の誤差'として定義し、ユーザが重大なミスと認識する基準に合致している。
• 最終的なスコアリングルールは厳密には適切ではないが、フィードバックの明確さとユーザの認知的処理速度の向上により、現実世界のトレーニング文脈において、標準的な線形および対数スコアリングルールを上回る性能を発揮した。