[論文レビュー] Regularization in High-Dimensional Regression and Classification via Random Matrix Theory

Panagiotis Lolas|arXiv (Cornell University)|Mar 30, 2020

Random Matrices and Applications参考文献 36被引用数 10

ひとこと要約

本稿は、ランダム行列理論を用いて、回帰および分類における正則化の高次元漸近理論を構築し、リッジ回帰における訓練誤差およびテスト誤差の正確な公式を導出し、線形判別分析における最適固有値圧縮法を提案する。また、ベイズ最適正則化パラメータを用いたリッジ回帰が、すべての特異値圧縮推定子の中でミニマックスであることを確立する。

ABSTRACT

We study general singular value shrinkage estimators in high-dimensional regression and classification, when the number of features and the sample size both grow proportionally to infinity. We allow models with general covariance matrices that include a large class of data generating distributions. As far as the implications of our results are concerned, we find exact asymptotic formulas for both the training and test errors in regression models fitted by gradient descent, which provides theoretical insights for early stopping as a regularization method. In addition, we propose a numerical method based on the empirical spectra of covariance matrices for the optimal eigenvalue shrinkage classifier in linear discriminant analysis. Finally, we derive optimal estimators for the dense mean vectors of high-dimensional distributions. Throughout our analysis we rely on recent advances in random matrix theory and develop further results of independent mathematical interest.

研究の動機と目的

• ランダム行列理論を用いて、高次元回帰および分類における正則化を分析する一般枠組みを構築すること。
• 既存のリッジ回帰および判別分析の結果を、任意の共分散構造下での一般特異値圧縮推定子に拡張すること。
• リッジ回帰における訓練誤差およびテスト誤差の正確な漸近公式を導出し、勾配降下法における早期停止の理論的裏付けを提供すること。
• 経験的共分散スペクトルに基づいて、線形判別分析における最適固有値圧縮法を数値的に効率的な方法で提案すること。
• 高次元設定における密な平均ベクトルの最適推定子を導出し、高次元漸近的枠組み下での理論的保証を提供すること。

提案手法

• 特徴次元 $p$ と標本サイズ $n$ が $p/n \to \gamma > 0$ に比例して増大する高次元漸近的枠組みを用いる。
• 最近のランダム行列理論の進展を応用して、標本共分散行列の極限スペクトル分布およびその汎関数を分析する。
• Stieltjes変換を含む方程式系の解を用いて、リッジ回帰における訓練誤差およびテスト誤差の正確な漸近的表現を導出する。
• 経験的固有値上での制約付き最適化問題を解くことで、線形判別分析における最適圧縮関数を計算する数値的手法を提案する。
• 測度の集中およびスペクトルノルムのバインドを用いて、推定パラメータを含む二次形式のほとんど確実収束を確立する。
• Marčenko–Pastur法則およびその一般化を用いて、標本共分散行列 $\hat{\Sigma}$ の極限スペクトル分布を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 一般特異値圧縮推定子における高次元回帰の正確な漸近的訓練誤差およびテスト誤差の公式は何か？
• RQ2 勾配降下ベースの最適化における早期停止は、高次元設定における正則化とどのように関係するか？
• RQ3 一般共分散構造下での線形判別分析における最適固有値圧縮関数は何か？
• RQ4 任意の特異値圧縮法が、ベイズ最適正則化パラメータを用いたリッジ回帰を上回ることができるか？
• RQ5 ノイズのある共分散推定を伴う高次元線形判別分析における分類誤差の極限的挙動は何か？

主な発見

• 本稿は、リッジ回帰における訓練誤差およびテスト誤差の正確な漸近的公式を導出し、勾配降下法における早期停止が有効な正則化経路に対応することを示している。
• 特異値圧縮推定子のクラスにおいて、リッジ回帰がベイズ最適正則化パラメータを用いたものより優れるような推定子は存在しないことを証明し、このクラス内でリッジ回帰がミニマックスであることを確立している。
• 線形判別分析における最適固有値圧縮関数は、経験的スペクトル分布上での制約付き最適化問題の解として導出される。
• 高次元LDAにおける分類誤差の極限は、Stieltjes変換および極限スペクトル測度 $H$ を含む式にほとんど確実に収束する。
• 漸近的分析により、誤分類率が信号強度 $\alpha^2$、次元比 $\gamma$、および $\Sigma$ のスペクトル分布の相乗作用に依存することが確認された。
• 最適圧縮係数を計算する手法は数値的に実行可能であり、標本共分散行列の経験的固有値に基づくため、実用的実装が可能である。