[論文レビュー] Bootstrap prediction intervals with asymptotic conditional validity and unconditional guarantees

Yunyi Zhang, Dimitris N. Politis|arXiv (Cornell University)|May 19, 2020

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

本稿では、漸近的に有効な条件付きカバレッジを達成するとともに、カバレッジ確率に無条件の下限を保証する線形モデルにおける予測区間を構築する、新しいブートストラップアルゴリズムを提案する。ブートストラップ誤差項の再重み付けと漸近理論を用いた分位数のキャリブレーションにより、条件付きカバレッジ確率が確率的に名目水準に収束し、条件付きカバレッジ不足のリスクが漸近的に制御されることを保証する。

ABSTRACT

It can be argued that optimal prediction should take into account all available data. Therefore, to evaluate a prediction interval's performance one should employ conditional coverage probability, conditioning on all available observations. Focusing on a linear model, we derive the asymptotic distribution of the difference between the conditional coverage probability of a nominal prediction interval and the conditional coverage probability of a prediction interval obtained via a residual-based bootstrap. Applying this result, we show that a prediction interval generated by the residual-based bootstrap has approximately 50% probability to yield conditional under-coverage. We then develop a new bootstrap algorithm that generates a prediction interval that asymptotically controls both the conditional coverage probability as well as the possibility of conditional under-coverage. We complement the asymptotic results with several finite-sample simulations.

研究の動機と目的

• 標準の誤差項ベースのブートストラップ予測区間には、漸近的有効性は保証されるが、条件付きカバレッジ不足に苦しむ可能性があるという限界を是正すること。
• 漸近的に条件付きカバレッジ確率が名目水準に近づくとともに、カバレッジに無条件の下限を提供する予測区間を構築すること。
• 観測済みデータがすべて利用可能である現実の予測実践をよりよく反映するため、条件付きカバレッジを性能指標として形式化すること。
• 予測区間構築における漸近的条件付き有効性と有限標本における無条件保証のギャップを埋めること。

提案手法

• 条件付きカバレッジ特性を改善するために、誤差項の経験分布を調整する再重み付け誤差項ベースのブートストラップ手順を導入する。
• 真の条件付きカバレッジ確率とブートストラップベースのカバレッジの差の漸近的分布を導出し、ブートストラップ分位数のキャリブレーションを可能にする。
• ブートストラップ分布からの修正された分位数を用いて予測区間を構築するアルゴリズムであり、条件付き有効性とカバレッジの下限を両立させるように分位数を選択する。
• 二重ブートストラップフレームワークを用いる：第一段階で予測誤差の条件付き分布を推定し、第二段階で潜在的なカバレッジ不足を制御する。
• 主な要素として、スチューデント化誤差項、経験過程理論、および集中不等式を用いて、ブートストラップと真の条件付きカバレッジの乖離を限定する。
• ブートストラップのキャリブレーションには、誤差項の経験過程とスチューデント化誤差項の極限正規分布を含む漸近展開を用いる。

Figure 1: Point-wise prediction intervals for the linear model $y_{i}=0.8+0.5x_{i}+\epsilon_{i},i=1,2,...,100$ . Black line, red dashed lines, solid purple lines, blue dashed lines, solid green lines respectively plot predictors, and point-wise prediction intervals generated by residual-based bootst

実験結果

リサーチクエスチョン

• RQ1 ブートストラップベースの予測区間を構築できるか。その条件付きカバレッジ確率が確率的に名目水準（1−α）に収束するか。
• RQ2 標準の誤差項ベースのブートストラップ区間における条件付きカバレッジ不足確率の漸近的挙動は何か。
• RQ3 漸近的条件付き有効性とカバレッジ確率の無条件下限を同時に達成できる予測区間を設計できるか。
• RQ4 ブートストラップ手順をどのように変更すれば、漸近的有効性を維持しつつ、条件付きカバレッジ不足のリスクを制御できるか。
• RQ5 線形モデルの文脈において、条件付きおよび無条件カバレッジ保証を確立するために必要な理論的ツールは何か。

主な発見

• 標準の誤差項ベースのブートストラップでは、条件付きカバレッジ不足の確率が約50%に達するため、有限標本における性能不足の顕著なリスクがあることが示された。
• 提案されたブートストラップアルゴリズムは、漸近的に条件付きカバレッジ確率とカバレッジ不足リスクの両方を制御し、条件付きカバレッジ確率が確率的に名目水準に収束することを保証する。
• この手法は、適合予測の要件を満たす無条件のカバレッジ下限を保証するとともに、条件付き有効性を向上させることで、それらを凌駕する。
• 有限標本シミュレーションにより、提案手法がさまざまな設計構成と誤差分布において、名目水準に近いカバレッジを維持することが確認された。
• 理論的分析から、ブートストラップによる条件付きカバレッジと名目水準との乖離が確率的にゼロに収束することが示され、収束速度は誤差項の経験過程によって制御される。
• 本手法は、ブートストラップ誤差項の再重み付けと、推定誤差分散の変動を考慮した洗練された分位数キャリブレーションにより、目的を達成する。

(a) Normal, Residual-based bootstrap