[論文レビュー] A scalable estimate of the extra-sample prediction error via approximate leave-one-out

Kamiar Rahnama Rad, Arian Maleki|arXiv (Cornell University)|Jan 30, 2018

Sparse and Compressive Sensing Techniques参考文献 71被引用数 21

ひとこと要約

本稿では、高次元設定におけるサンプル外予測誤差を推定する計算的に効率的な手法であるALO（Approximate Leave-One-Out）を提案する。1回のニュートンステップと低ランク行列近似を活用することで、計算コストを最小限に抑えつつ、leave-one-out誤差の閉形式推定が可能となり、n, p → ∞ の下でほぼゼロのバイアスを達成する。スパarsity仮定は不要である。

ABSTRACT

The paper considers the problem of out-of-sample risk estimation under the high dimensional settings where standard techniques such as $K$-fold cross validation suffer from large biases. Motivated by the low bias of the leave-one-out cross validation (LO) method, we propose a computationally efficient closed-form approximate leave-one-out formula (ALO) for a large class of regularized estimators. Given the regularized estimate, calculating ALO requires minor computational overhead. With minor assumptions about the data generating process, we obtain a finite-sample upper bound for $| ext{LO} - ext{ALO}|$. Our theoretical analysis illustrates that $| ext{LO} - ext{ALO}| ightarrow 0$ with overwhelming probability, when $n,p ightarrow \infty$, where the dimension $p$ of the feature vectors may be comparable with or even greater than the number of observations, $n$. Despite the high-dimensionality of the problem, our theoretical results do not require any sparsity assumption on the vector of regression coefficients. Our extensive numerical experiments show that $| ext{LO} - ext{ALO}|$ decreases as $n,p$ increase, revealing the excellent finite sample performance of ALO. We further illustrate the usefulness of our proposed out-of-sample risk estimation method by an example of real recordings from spatially sensitive neurons (grid cells) in the medial entorhinal cortex of a rat.

研究の動機と目的

• nとpが大きく、n/pが固定される高次元設定において、K-fold交差検証の高いバイアスを是正すること。
• leave-one-out交差検証（LO）の低バイアスを維持しつつ、計算的に効率的な代替手法を開発すること。
• LASSOのような非滑らか関数を含む、広範な正則化推定器のクラスに対して、LO誤差の閉形式近似を提供すること。
• LOとALOの差の有限標本における理論的バインドを確立し、n, p → ∞ の下で |LO − ALO| → 0 となることを示すこと。
• 実データ（ラット脳のグリッドセル）を用いて実用的有効性を示し、ALOが迅速かつ正確なモデル選択を可能にすること。

提案手法

• 正則化最適化問題に対して1回のニュートンステップを適用することで、leave-one-out交差検証の閉形式近似としてALOを提案する。
• 損失関数のヘッセ行列と勾配に基づいて、近似leave-one-out誤差の解析的表現を導出する。
• 低ランク行列恒等式を用いて、ALO近似に必要なレバレッジスコアを効率的に計算する。
• 設計行列の正規化とパラメータのスケーリングにより、近似の安定性と解釈可能性を確保する。
• ℓ1ノルム（LASSO）、エラスティックネット、ポisson回帰などの微分不能な正則化子を有する一般化線形モデルにALOの公式を適用する。
• ALO推定値を正則化パラメータλのチューニングに向けたモデル選択パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 高次元正則化モデルに対して、計算的に効率的なleave-one-out交差検証の近似を導出可能か？
• RQ2 nとpが大きい有限標本において、ALO推定値は真のleave-one-out誤差にどれほど近いか？
• RQ3 K-fold CVが失敗する高次元設定において、ALOはスパarsity仮定がなくても低バイアスを維持できるか？
• RQ4 LASSOのような非滑らか正則化子に対しても、ALOは正確なリスク推定を提供できるか？
• RQ5 空間的感受性の高いニューロンにおける発火レートモデルのチューニングなど、実世界の応用においてALOはどのように性能を発揮するか？

主な発見

• ALOは、|LO − ALO|の有限標本における上界を達成し、n, p → ∞ の下で途方なく確率的に消失する。
• 数値実験により、|LO − ALO|がnとpの増加に伴い減少することが確認され、理論的収束が裏付けられた。
• LOと比較して計算コストを桁違いに削減した（例：実際の神経データ例では約60,000秒から約7秒に）。
• グリッドセル発火レートモデルにおいて、ALOはλを適切にチューニングし、正確で過剰平滑化されていないレートマップを生成し、LOの結果と一致した。
• n > p、n = p、n < pの異なるデータ設定においても、時間的・精度的安定性を維持し、一貫した性能を示した。
• K-fold CVが顕著なバイアスを生じる高次元設定において、ALOはLOの信頼できる代替手段を提供する。