[論文レビュー] Weighted scoring rules and hypothesis testing

Hajo Holzmann, Bernhard Klar|arXiv (Cornell University)|Jan 1, 2016

Advanced Statistical Methods and Models参考文献 11被引用数 3

ひとこと要約

本稿は、条件付き密度に基づき、厳密に局所的適正な重み付きスコアルールを構築する一般枠組みを提案する。これにより、関心領域に焦点を当てた予測評価が可能になる。本稿は、Diks ら（2011）の打ち切り尤度ルールが i.i.d. 環境下で最適な仮説検定をもたらすことを確立し、重み付きスコアルールが特定領域内での性能に優れる予測を信頼性高く同定できることを示している。これは、その領域外での性能が悪くても成り立つ。

ABSTRACT

We discuss weighted scoring rules for forecast evaluation and their connection to hypothesis testing. First, a general construction principle for strictly locally proper weighted scoring rules based on conditional densities and scoring rules for probability forecasts is proposed. We show how likelihood-based weighted scoring rules from the literature fit into this framework, and also introduce a weighted version of the Hyvärinen score, which is a local scoring rule in the sense that it only depends on the forecast density and its derivatives at the observation, and does not require evaluation of integrals. Further, we discuss the relation to hypothesis testing. Using a weighted scoring rule introduces a censoring mechanism, in which the form of the density is irrelevant outside the region of interest. For the resulting testing problem with composite null - and alternative hypotheses, we construct optimal tests, and identify the associated weighted scoring rule. As a practical consequence, using a weighted scoring rule allows to decide in favor of a forecast which is superior to a competing forecast on a region of interest, even though it may be inferior outside this region. A simulation study and an application to financial time-series data illustrate these findings.

研究の動機と目的

• 特定の関心領域における性能に重点を置く、厳密に局所的適正な重み付きスコアルールの一般的構築原理を開発すること。
• 重み付きスコアルールが関心領域内の質量が高い予測を好む不適正な性質を解消するため、理論的適正性を保証すること。
• 複合帰無仮説と対立仮説の下で、重み付きスコアルールと最適仮説検定の関連を確立すること。
• 重み付きスコアルールが、その領域外での性能が劣っている場合でも、関心領域内での優れた予測を信頼性高く同定できることを示すこと。
• シミュレーションおよび金融時系列データを用いて、重み付きスコアルールの実用的性能を評価すること。

提案手法

• 条件付き密度と確率予測のための適正スコアルールを用いて、重み付きスコアルールの一般的構築を提案する。
• 局所的であり、観測点における密度の微分に依存することで、積分評価を回避する、ハイヴァリネンスコアの重み付き版を導入する。
• Diks ら（2011）および Pelenis（2014）の尤度に基づく重み付きスコアルールが、提案された枠組みに適合することを示す。
• 予測比較を、関心領域が打ち切り機構として機能する複合帰無仮説と対立仮説をもつ仮説検定問題として再定式化する。
• 打ち切り尤度ルールに基づく最適片側検定を構築し、これが i.i.d. 環境下での最適検定に対応することを示す。
• 重み付きスコアルール下での予測精度比較に、Diebold-Mariano 検定をスタイリゼッドフレームワークで用いる。

実験結果

リサーチクエスチョン

• RQ1 重み付きスコアルールは、関心領域に焦点を当てつつ適正性を保証するように、どのように構築可能か？
• RQ2 重み付きスコアルールと予測評価における最適仮説検定の間には、どのような関係があるか？
• RQ3 重み付きスコアルールは、その領域外での性能が劣っている場合でも、関心領域内での優れた予測を信頼性高く同定できるか？
• RQ4 標準的スコアルールと比較して、打ち切り尤度ルールやペナルティ付き尤度スコアといった異なる重み付きスコアルールは、実務的にどの程度の性能を示すか？
• RQ5 特定領域の性能のみが重要であるような状況において、重み付きスコアルールを用いる理論的根拠は何か？

主な発見

• Diks ら（2011）の打ち切り尤度ルールは、i.i.d. 環境下で最適片側検定をもたらし、領域特化型の予測評価における理論的最適性を確立している。
• Pelenis（2014）のペナルティ付き尤度スコアは、順序保存性と適正性を備えており、シミュレーションおよび実データにおいて良好な性能を示し、実用的有用性を裏付けている。
• ドイツ銀行リターンの分析において、スケュー・t分布 GARCH モデルは損失予測において t-GARCH モデルを有意に上回り（p値 < 0.05）、一方で利回り予測では t-GARCH モデルが優れている。
• シミュレーションスタディにより、重み付きスコアルールが、グローバルな性能が関心領域外で類似または劣っている場合でも、領域内での予測優位性を検出できることを確認した。
• 残差の可視化により、スケュー・t GARCH モデルは t-GARCH モデルよりも左端尾部をよりよく適合していることが判明し、これは検定結果と整合的である。
• 理論的に魅力的な適正な重み付きスコアルールであっても、シミュレーションでは、誤指定モデルを比較する際、非重み付きルールに比べて体系的な改善が見られない。これは、領域特化型の評価フレームワークの必要性を強調している。