[論文レビュー] Combining and Extremizing Real-Valued Forecasts

Ville Satopää, Lyle Ungar|arXiv (Cornell University)|Jun 21, 2015

Forecasting Techniques and Applications参考文献 25被引用数 6

ひとこと要約

本稿は、実数予測の重み付き平均が、利用可能な情報を十分に活用しないことにより、過信に繋がり、解像度が低下するため、最適でないことを示している。予測者の全情報セットをよりよく反映するため、重み付き平均を周辺平均から体系的にずらす線形極端化手法を提案しており、これによりキャリブレーションと予測精度が向上する。

ABSTRACT

The weighted average is by far the most popular approach to combining multiple forecasts of some future outcome. This paper shows that both for probability or real-valued forecasts, a non-trivial weighted average of different forecasts is always sub-optimal. More specifically, it is not consistent with any set of information about the future outcome even if the individual forecasts are. Furthermore, weighted averaging does not behave as if it collects information from the forecasters and hence needs to be extremized, that is, systematically transformed away from the marginal mean. This paper proposes a linear extremization technique for improving the weighted average of real-valued forecasts. The resulting more extreme version of the weighted average exhibits many properties of optimal aggregation. Both this and the sub-optimality of the weighted average are illustrated with simple examples involving synthetic and real-world data.

研究の動機と目的

• 実数予測の非自明な重み付き平均の根本的な非最適性を特定すること。
• 重み付き平均が予測者からの情報を収集しているかのようには振る舞わず、結果として過信が生じることを示すこと。
• 体系的な極端化を用いて重み付き平均を改善する原則的かつ整合的な手法を開発すること。
• 部分的情報枠組みの下で、極端化された予測が個々の予測の情報内容をよりよく反映することを確立すること。
• 合成データおよび実世界のデータにおいて、理論的および実証的に極端化が予測性能を向上させることを示すこと。

提案手法

• 予測者の多様性が異なる情報セットに起因することをモデル化するため、部分的情報枠組みを適用する。
• 個々の予測の共分散行列の二次形式として、重み付き平均予測の分散を導出する。
• 予測の分散構造に基づき、重み付き平均を周辺平均から体系的にずらす線形極端化変換を提案する。
• コーシー＝シュワルツの不等式を用いて、予測分散の理論的上限を確立し、極端化が最適となる条件を同定する。
• 実現値との平均二乗誤差を最小化するための経験的リスク最小化を用いる。
• 合成データおよび実世界の予測データを用いて、標準的な重み付き平均と比較して、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 実数予測の重み付き平均が、情報集約の観点からなぜ非最適なのか？
• RQ2 重み付き平均は、個々の予測の全情報内容をどのように正しく反映していないのか？
• RQ3 予測者の情報内容をよりよく反映するため、体系的に重み付き平均を改善する変換は何か？
• RQ4 極端化が最適または近似的に最適な予測性能を達成する条件は何か？
• RQ5 提案された極端化手法は、標準的な集約法と比較して、キャリブレーションと解像度の観点でどのように異なるか？

主な発見

• 非自明な実数予測の重み付き平均は、予測者に与えられた情報を十分に活用しないことから、非最適である。
• 重み付き平均は一貫して予測分散を低く見積もっており、確率予測における過信と同様の過信を示す。
• 極端化は、共分散構造に従って定義された重み付き平均の分散を増加させ、データ生成過程で達成可能な最大分散に近づける。
• 最適な極端化係数は、予測の共分散構造から導出され、極端化された予測がデータと整合的に可能な最大分散を達成することを保証する。
• 合成データおよび実世界のデータに対する実証的結果から、極端化された予測は、平均二乗誤差と信頼性の観点で、標準的な重み付き平均を著しく上回ることが示された。
• この手法は頑健である：予測者の情報セットが部分的に重複している場合でも、平均化に起因する情報損失を是正するため、集約性能が向上する。