[論文レビュー] Conditional predictive inference for high-dimensional stable algorithms

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|Sep 5, 2018

Probabilistic and Robust Engineering Design参考文献 31被引用数 7

ひとこと要約

本稿では、1つの観測値を除いた残差に基づく予測区間を提案し、その予測アルゴリズムが単一観測値の省略に対して安定している場合、条件付き被覆確率が名目水準に非常に近くなることを示している。この手法は、有限標本解析を用いることで、誤差分布に関する最小限の仮定のもとでも、高次元設定における信頼性の高い予測的推論を保証する。

ABSTRACT

We investigate generically applicable and intuitively appealing prediction intervals based on leave-one-out residuals. The conditional coverage probability of the proposed interval, given the observations in the training sample, is close to the nominal level, provided that the underlying algorithm used for computing point predictions is sufficiently stable under the omission of single feature-response pairs. Our results are based on a finite sample analysis of the empirical distribution function of the leave-one-out residuals and hold in a non-parametric setting with only minimal assumptions on the error distribution. To illustrate our results, we also apply them to high-dimensional linear predictors, where we obtain uniform asymptotic conditional validity as both sample size and dimension tend to infinity at the same rate. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters (cf. Bickel and Freedman, 1983; El Karoui and Purdom, 2015; Mammen, 1996), leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

研究の動機と目的

• 名目水準に近い条件付き被覆確率を維持する、一般に適用可能な予測区間の開発を目的とする。
• 従来のリサンプリング手法が失敗する高次元設定における信頼性の高い予測的推論の課題に対処することを目的とする。
• 誤差分布に関する最小限の仮定のもとで、1つの観測値を除いた残差に基づく区間の理論的妥当性を確立することを目的とする。
• 標本サイズと次元が同時に増大する高次元線形モデルにおいて、一様漸近的条件付き妥当性を示すこと。
• 安定なアルゴリズムにより、高次元におけるリサンプリング手順の既知の制限にもかかわらず有効な推論が可能であることを示すこと。

提案手法

• 1つの観測値を除いた残差の経験的分布関数を用いて予測区間を構築する。
• 訓練データの条件下での条件付き被覆を保証するために、有限標本解析に依存する。
• 単一の特徴量-応答ペairの省略に対する予測アルゴリズムの安定性条件を適用する。
• パラメトリックモデルを仮定しない最小限の誤差分布に関する仮定のもとで理論的保証を確立する。
• 標本サイズと次元が同じ割合で増大する高次元線形予測子へと結果を拡張する。
• リサンプリングの欠点を避けるために、アルゴリズムの安定性に焦点を当てることで、従来のリサンプリングの代替手段を提供する。

実験結果

リサーチクエスチョン

• RQ1 誤差分布に関する最小限の仮定のもとで、1つの観測値を除いた残差に基づく予測区間は、名目水準に近い条件付き被覆を達成できるか？
• RQ2 単一観測値の省略に対するアルゴリズムの安定性は、予測区間の妥当性にどのように影響するか？
• RQ3 高次元設定において、1つの観測値を除いた残差から構築された予測区間の有限標本的性質は何か？
• RQ4 提案手法は、高次元線形モデルにおいて一様漸近的条件付き妥当性を確保できるか？
• RQ5 なぜ従来のリサンプリング手法は高次元におけるパrameter推論では失敗するが、予測的推論では失敗しないのか？

主な発見

• 予測アルゴリズムが単一観測値の省略に対して安定している場合、1つの観測値を除いた残差に基づく予測区間は、条件付き被覆確率が名目水準に非常に近くなる。
• この手法は、誤差分布に関する最小限の仮定のもとでの非パラメトリックな設定でも有効である。
• 有限標本解析により、1つの観測値を除いた残差の経験的分布関数が推論に信頼性をもたらすことが確認された。
• 高次元線形モデルにおいて、標本サイズと次元が同じ割合で増大する際、区間は一様漸近的条件付き妥当性を達成する。
• リサンプリングによるパrameter推論の既知の問題にもかかわらず、アルゴリズムの安定性のおかげで、1つの観測値を除いた手法は予測的推論において依然として有効である。
• このアプローチは、高次元予測タスクにおける従来のリサンプリングの代替手段として、頑健である。