[論文レビュー] Distribution-Free Predictive Inference For Regression

Jing Lei, Max G’Sell+3 more|arXiv (Cornell University)|Apr 14, 2016

Statistical Methods and Inference被引用数 37

ひとこと要約

本稿では、分布仮定を必要としない回帰における予測的推論のためのフレームワークを導入し、任意の回帰推定器に対して有限標本における予測区間を有効に構築可能にする。主な貢献は、モデルの誤指定下でもマージナルカバレッジを保証する手法であり、インサンプル予測、異分散性、およびLOCO推論によるモデルフリーな変数重要度の拡張を含む。

ABSTRACT

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called <i>rank-one-out</i> conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, to adapt to heteroscedasticity in the data. Finally, we propose a model-free notion of variable importance, called <i>leave-one-covariate-out</i> or LOCO inference. Accompanying this article is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

研究の動機と目的

• モデル仮定に依存せず、有限標本におけるマージナルカバレッジを保証する一般化された分布フリーな予測帯の構築フレームワークを開発すること。
• 線形回帰、高次元回帰、非パラメトリック回帰など、任意の回帰推定器に対して、正しいモデル仕様が不要な有効な予測的推論を可能にすること。
• インサンプル予測、異分散性のあるデータに対する局所的に変化する予測区間長、およびモデルフリーな変数重要度の評価へのフレームワークの拡張を実現すること。
• 強い分布仮定に依存するパラメトリック予測区間の代替として、計算的に効率的かつ理論的に妥当な代替手法を提供すること。
• LOCO（1つの共変量を除いて）推論を導入し、最小限の仮定下で有効なモデルフリーな変数重要度の測定を可能にすること。

提案手法

• 訓練データに仮想の新しい観測値を追加し、経験的分位数に基づくp値を計算することで、適合した回帰モデルを用いて予測帯を構築する。
• 主に2つのバリエーションを採用：完全な適合型の適合（各新しい予測に対してモデルを再適合）と、分割適合型の適合（訓練データを分割し、一度だけモデルを適合させ、補正にはテストデータを用いる）で、計算効率を向上。
• 計算効率が分割適合型と同等であり、有限標本の有効性を保ちながら、インサンプル予測に適した、ランク1アウトの適合型を導入。
• 局所加重付きの適合型を用いて、応答変数の異分散性に適応する幅が変化する予測帯を構築。
• 各共変量をモデルから除外した際の中央予測誤差の超過量を評価することで、LOCO推論をモデルフリーな変数重要度の測定として提案。
• すべての手法をRパッケージ conformalInference に実装し、研究結果の再現性と実用的応用を可能にした。

実験結果

リサーチクエスチョン

• RQ1 分布仮定を必要とせず、有限標本におけるマージナルカバレッジを保証する一般化されたフレームワークを、回帰における分布フリーな予測的推論に開発可能か？
• RQ2 完全適合型と分割適合型の適合型の間で、統計的精度（区間幅）と計算効率の観点から、どのように比較されるか？
• RQ3 分割適合型と同等の計算効率と有限標本の有効性を持つインサンプル予測区間を構築可能か？
• RQ4 局所的に変化する区間幅を許容することで、異分散性のあるデータに適応する予測帯をどのように構築できるか？
• RQ5 最小限の仮定下で有効であり、モデルの誤指定に対してロバストな、モデルフリーな変数重要度の測定を定義可能か？

主な発見

• 提案された適合型予測フレームワークは、モデルが著しく誤指定されていても、任意の回帰推定器に対して有限標本におけるマージナルカバレッジを $1 - \alpha$ で保証する。
• 分割適合型は、完全適合型と比較してわずかな統計的精度の損失で、計算効率を実現し、有効なカバレッジを維持する。
• ランク1アウト適合型は、分割適合型と同等の計算効率を備え、アウトオブサンプルの適合が高コストとなる状況でも実用的なインサンプル予測区間を提供する。
• 局所加重付き適合型は、応答変数の局所的分散を反映する幅が変化する予測帯を生成することで、異分散性のあるデータに適応することに成功した。
• LOCO推論は、共変量を除外した際の中央予測誤差の超過量を測定することで、関連する共変量を特定する。高次元設定において、実証的結果では関連のある変数と関係のない変数の間で明確な分離が観察された。
• Rパッケージ conformalInference により、すべての実証的結果の完全な再現性が実現され、提案手法の広範な採用と拡張を支援した。