[論文レビュー] Approximate Cross-Validation in High Dimensions with Guarantees

William Stephenson, Tamara Broderick|arXiv (Cornell University)|May 31, 2019

Statistical Methods and Inference参考文献 45被引用数 5

ひとこと要約

この論文は、パラメーターベクトルのスパarsityを活用することで、高次元設定におけるleave-one-out cross-validation (LOOCV) の計算的に効率的で理論的保証付きの近似手法を提案する。全データのフィッティングにより小さな、経験的に回復可能なサポート集合 S を特定し、LOOCV 近似をこの部分空間に制限することで、全体の次元ではなくサポートサイズに従って誤差と実行時間がスケーリングされる。これにより、全体のパラメータ次元が大きくても、低誤差と低実行時間の両立が達成される。

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

研究の動機と目的

• 高次元設定における従来の LOOCV 近似手法の計算不能性と精度の低下を解決すること。
• これまで体系的かつ一貫した評価が行われてこなかった、高次元における近似的な LOOCV のヒューリスティックな解決手法を評価・比較すること。
• 真のパラメータがスパースである場合に、高次元の環境下でも精度と効率を維持できる手法を同定すること。
• 解釈可能な有限サンプル条件下で、低次元サポートへの近似を理論的に正当化すること。
• 実行時間と誤差が、全次元ではなく真のサポートのサイズにのみ依存することを示すこと。

提案手法

• 真のパラメータがスパースであると仮定し、ℓ1正則化を用いて全モデルを一度だけフィッティングし、スパースサポート集合 S を推定する。
• LOOCV 近似を推定されたサポート S 内の座標に制限することで、問題の次元を D から |S| に削減する。
• 既存の近似的な LOOCV メソッド（例：ヘッセ行列やヤコビアンの近似に基づくもの）を、低次元部分空間 S 上でのみ適用する。
• やや厳しい条件のもとで、有限サンプルにおいてサポート S がすべての LOOCV フォールドで共有される確率が高く保証されることを証明する。
• 集中不等式と、サブガウス型・サブエクスポネンシャル型の尾部バウンドを用いて、ヘッセ行列や勾配ノルムなどの主要な量の乖離を制御する。
• D が大きく、N と共に増加しても、|S| に比例するスケーリングで誤差バウンドを確立する理論的結果を示す。

実験結果

リサーチクエスチョン

• RQ1 既存の近似的な LOOCV メソッドは、高次元設定でも高速かつ正確に動作させることができるか？
• RQ2 低次元では理論的保証があるにもかかわらず、なぜ過去の近似手法は高次元では失敗するのか？
• RQ3 どのような条件下で、低次元部分空間への近似が高次元 LOOCV における精度を保持できるか？
• RQ4 有限サンプルにおいて、スパースパラメータのサポートはすべての LOOCV フォールドで安定しているか？
• RQ5 近似的な LOOCV の計算コストと誤差を、環境次元ではなく真のサポートのサイズによってバウンドできるか？

主な発見

• 高次元における近似的な LOOCV の既存手法のうち、唯一の例外を除き、精度または効率を維持できず、実用的ではなくなっている。
• 本手法は、全データから回復したスパースサポートに制限して近似を実行するため、誤差と実行時間がサポートサイズ |S| にのみ依存し、全次元 D に依存しない。
• 理論的分析により、やや厳しい条件のもとで、有限サンプルにおいてサポートがすべての LOOCV フォールドで共有される確率が高く保証され、D = o(e^N) であっても成り立つ。
• 線形回帰およびロジスティック回帰において、誤差と実行時間は |S| にのみ依存し、|S| が小さくなるほど誤差バウンドが改善される。
• 経験的結果により、D が大きく N が中程度であっても、本手法は高い精度を維持し、他の手法と比べて速度と安定性の面で桁違いに優れている。
• 本手法は高次元の設計行列に対してもロバストであり、ヘッセ行列や勾配ノルムなどの主要量に対して、サブガウス型設計のもとで確率的バウンドが得られ、安定性が保証される。