[論文レビュー] Sparse Approximate Cross-Validation for High-Dimensional GLMs.

William Stephenson, Tamara Broderick|arXiv (Cornell University)|May 31, 2019

Machine Learning and Data Classification被引用数 1

ひとこと要約

この論文は、パラメーターベクトルのスパarsityを活用することで、計算コストを低減し、精度を向上させる高次元一般化線形モデル（GLMs）のスパースな近似leave-one-out cross-validation（LOOCV）手法を提案する。理論的および実験的に、経験的に回復された小さなサポート集合に焦点を当てることで、近似LOOCVの精度に近い結果が得られ、実行時間は全次元性ではなくサポートサイズに比例してスケーリングされることを示している。

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

研究の動機と目的

• 高次元一般化線形モデル（GLMs）における正確なleave-one-out cross-validation（LOOCV）の高い計算コストに対処すること。
• 特に固定次元仮定に依存する方法を含む、高次元設定におけるLOOCVの既存の近似手法を特定および評価すること。
• パラメータが高次元的かつ非スパースな場合に精度が著しく低下するため、多くの既存の近似手法が高次元では失敗することを示すこと。
• パラメーターベクトルのスパarsityを活用することで、精度と効率性を維持する新しい近似手法を提案および検証すること。
• 理論的および実験的に、この手法の性能が全パラメータ空間の次元ではなく、真のサポートのサイズにのみ依存することを示すこと。

提案手法

• 高次元パラメーターベクトルにおけるスパarsityを活用する、LOOCVの新しい近似手法を提案する。
• データに支配的な信号を捉えるために、関連する特徴の小さなサブセットを特定する経験的サポート回復ステップを用いる。
• 計算をこの経験的に特定された小さなサポート集合に制限することで、計算負荷を低減する。
• 理論的分析により、スパarsity仮定の下で、近似誤差が環境次元ではなく真のサポートのサイズによって制御されることを示している。
• この手法の鍵となる洞察は、回復されたサポート上での低次元最適化問題を解くことで、LOOCV誤差を正確に推定できることにある。
• アルゴリズムは計算的に効率的であり、実行時間はサポートサイズに対してのみ立方的に増加するが、全次元に対しては増加しない。

実験結果

リサーチクエスチョン

• RQ1 パラメータ次元が大きい高次元GLMsにおいて、既存の近似LOOCV手法は精度を維持できるか？
• RQ2 多くの直感的な近似手法が、特にパラメータが低次元的でない高次元設定で失敗する理由は何か？
• RQ3 真のパラメーターベクトルのスパarsityを活用して、計算的に効率的かつ正確なLOOCV近似を設計できるか？
• RQ4 どのような理論的条件下で、LOOCVのスパース近似がほぼ正確な性能を達成できるか？
• RQ5 真のパラメータがスパースな場合、この近似の実行時間は高次元問題にスケーリング可能か？

主な発見

• 多くの既存の近似LOOCV手法は、高次元設定では性能が著しく劣り、次元が増加するにつれて精度が急速に低下する。
• 提案されたスパース近似手法は、真のパラメータがスパースである限り、高次元GLMsにおいても高い精度を維持する。
• この手法の実行時間は、経験的に回復されたサポートのサイズに立方的に依存するが、全パラメータ次元には依存せず、スケーラビリティを実現する。
• 理論的分析により、スパarsity仮定の下で、近似誤差が環境次元ではなく真のサポートのサイズによって上限づけられることを示している。
• 実験的結果により、この手法は高次元設定において正確なLOOCVに近い精度を達成するとともに、正確なLOOCVよりも著しく高速であることが確認された。
• 高次元GLMベンチマークにおいて、この手法はすべての他のテストされた近似手法を精度および計算効率の両面で上回った。