[論文レビュー] Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions

Kamiar Rahnama Rad, Wenda Zhou+1 more|arXiv (Cornell University)|Mar 3, 2020

Statistical Methods and Inference参考文献 25被引用数 6

ひとこと要約

本稿は、特徴量の数 $ p $ がサンプルサイズ $ n $ を超える高次元一般化線形モデルにおける、1つずつ除外する交差検証（LOO）の有限標本誤差バウンドを確立する。やや弱い正則性条件のもとで、スパarsity仮定を設けずに、LOOと真の汎化誤差の間の期待二乗誤差が $ n, p \to \infty $ の下でゼロに収束することを証明しており、$ p/n \to \infty $ でさえも成り立つ。これは、高次元設定においてLOOの経験的精度に対する理論的裏付けを提供する。

ABSTRACT

We study the problem of out-of-sample risk estimation in the high dimensional regime where both the sample size $n$ and number of features $p$ are large, and $n/p$ can be less than one. Extensive empirical evidence confirms the accuracy of leave-one-out cross validation (LO) for out-of-sample risk estimation. Yet, a unifying theoretical evaluation of the accuracy of LO in high-dimensional problems has remained an open problem. This paper aims to fill this gap for penalized regression in the generalized linear family. With minor assumptions about the data generating process, and without any sparsity assumptions on the regression coefficients, our theoretical analysis obtains finite sample upper bounds on the expected squared error of LO in estimating the out-of-sample error. Our bounds show that the error goes to zero as $n,p ightarrow \infty$, even when the dimension $p$ of the feature vectors is comparable with or greater than the sample size $n$. One technical advantage of the theory is that it can be used to clarify and connect some results from the recent literature on scalable approximate LO.

研究の動機と目的

• 1つずつ除外する交差検証（LOO）が、$ p \gg n $ である高次元設定において、その経験的精度を理論的に裏付けること。
• 一般化線形モデル族における正則化回帰の真の汎化誤差を推定するLOOの期待二乗誤差を分析すること。
• 真の回帰係数にスパarsityがないと仮定しない、LOOの推定誤差に対する有限標本上界を導出すること。
• 統一的な理論的枠組みを通じて、LOOとスケーラブルな近似LO手法との関係を明確にすること。
• 特徴量の数がサンプル数を上回る状況でもLOOが一貫性を保つための条件を確立すること。

提案手法

• 高次元漸近的フレームワークを用いたLOOの理論的分析。$ n, p \to \infty $ であり、$ n/p $ が1未満である可能性も含む。
• LOO推定の期待二乗誤差 $ \mathbb{E}[|\text{LO} - \text{Err}_{\text{out}}|^2] $ に対する有限標本上界の導出。
• 損失関数 $ \ell(y|\bm{x}^\top\bm{\beta}) $ および正則化項 $ r(\bm{\beta}) $ のモーメントバウンドの使用。特に、部分ガウス分布および部分ワイブル分布の尾部性質を活用。
• トレーニングデータに関してLOO推定量の分散を制御するための集中不等式およびモーメント制御技術の適用。
• 推定誤差に一様に制御を加えるための設計行列および損失関数に関する条件の確立。
• 真の係数ベクトル $ \bm{\beta}^* $ にスパarsityが不要な、データ生成過程のやや弱いモーメントおよび正則性仮定のもとでのLOOの一貫性の証明。

実験結果

リサーチクエスチョン

• RQ1 1つずつ除外する交差検証が、高次元設定において真の汎化誤差を一貫して推定できる条件は何か？
• RQ2 $ n $ と $ p $ が共に大きく成長する際、LOOの期待二乗誤差はどのように振る舞うか。特に $ p > n $ の場合に注目する。
• RQ3 真の回帰係数にスパarsityを仮定しないで、LOOの有限標本誤差バウンドを導出できるか？
• RQ4 高次元モデルにおけるLOOとスケーラブルな近似LO手法との間には、どのような理論的関係があるか？
• RQ5 損失関数および正則化項のモーメント条件は、LOOが真の汎化誤差に収束するのをどのように影響するか？

主な発見

• LOOと真の汎化誤差の間の期待二乗誤差は、$ n, p \to \infty $ の下でゼロに収束し、$ p/n \to \infty $ であっても成り立つ。
• 損失関数および正則化項のモーメント構造に依存する有限標本上界が導出され、$ \lambda $、$ r(\bm{\beta}^*) $、および $ p $ に明示的な依存関係を示す。
• 真の係数ベクトル $ \bm{\beta}^* $ にスパarsity仮定を一切設けないため、密な高次元モデルにも適用可能な結果となる。
• 応答変数および設計分布のやや弱いモーメント条件のもとで、バウンドがほぼ鋭いことが示された。
• 理論的枠組みにより、スケーラブルな近似LO手法の挙動が明確になり、その精度のベンチマークが提供された。
• 導出結果により、LOOが非スパースな状況でも一貫性を保つことが確認され、現代の高次元問題におけるロバスト性を裏付ける。