[論文レビュー] Exact expressions for double descent and implicit regularization via surrogate random design

Michał Dereziński, Feynman Liang+1 more|arXiv (Cornell University)|Dec 10, 2019

Stochastic Gradient Optimization Techniques参考文献 61被引用数 33

ひとこと要約

本論文は、代理デザイン（決定的なランダム設計）の下で線形回帰におけるMoore-Penrose推定量の厳密な非漸近的MSE表現を導出し、ダブルディセントと暗黙のリッジ様正則化を明らかにし、i.i.d.設計への漸近的一貫性を示す。

ABSTRACT

Double descent refers to the phase transition that is exhibited by the generalization error of unregularized learning models when varying the ratio between the number of parameters and the number of training samples. The recent success of highly over-parameterized machine learning models such as deep neural networks has motivated a theoretical analysis of the double descent phenomenon in classical models such as linear regression which can also generalize well in the over-parameterized regime. We provide the first exact non-asymptotic expressions for double descent of the minimum norm linear estimator. Our approach involves constructing a special determinantal point process which we call surrogate random design, to replace the standard i.i.d. design of the training sample. This surrogate design admits exact expressions for the mean squared error of the estimator while preserving the key properties of the standard design. We also establish an exact implicit regularization result for over-parameterized training samples. In particular, we show that, for the surrogate design, the implicit bias of the unregularized minimum norm estimator precisely corresponds to solving a ridge-regularized least squares problem on the population distribution. In our analysis we introduce a new mathematical tool of independent interest: the class of random matrices for which determinant commutes with expectation.

研究の動機と目的

• 最小ノルム推定量に対する厳密で非漸近的な表現を用いて、線形回帰におけるダブルディセントを説明する。
• 解析を扱いやすくするため、決定点過程を介した代理ランダム設計を導入する。
• 最小ノルム解の暗黙的正則化とリッジ回帰との関係を特徴づける。
• ガウシアン様データに対して、代理設計が標準的なi.i.d.設計と漸近的一貫性を持つことを示す。

提案手法

• 背景測度 mu を用いる決定点過程を用いて、代理ランダム設計 S_mu^n を構築する。
• 代理設計下での MSE[ X_bar^dagger y_bar ] の厳密な非漸近的MSE表現を導出する（定理1）。
• 期待される Moore-Penrose 推定量を通じて暗黙の正則化を定義・計算し、それを ridge-正則化された LS（定理2）と結びつける。
• 行列式を保存するランダム行列を導入し、行列式と期待の交換を正当化する（セクション4）。
• サブガウス行を持ち共分散が有界な場合に、代理設計とi.i.d.設計の漸近的一貫性を証明する（定理3）。
• 代理設計下のトレースと射影の期待に関する補助補題（補題2および補題3）を提供する。

実験結果

リサーチクエスチョン

• RQ1 代理的決定設計からサンプルを抽出した場合の、アンダーパラメータリングおよびオーバーパラメータリング の線形回帰における最小ノーム Moore-Penrose推定量の性能はどうなるか？
• RQ2 代理設計のための厳密な非漸近的MSE表現を得ることはでき、これをリッジ回帰に関する暗黙の正則化として解釈できるか？
• RQ3 一般的なデータ分布に対して、代理設計の結果は標準的なi.i.d.設計の結果と漸近的に一致するか？
• RQ4 ランダム設計の行列式を扱う解析を可能にする数学的手法（例: 行列式を保持する行列など）は何か？
• RQ5 データ共分散の固有値の減衰が、この設定におけるダブルディセントと暗黙の正則化にどう影響するか？

主な発見

• 代理設計下で Moore-Penrose 推定量の厳密な非漸近的 MSE 式を得る（定理1）。
• 暗黙の正則化効果により、アンダー定まった推定量は母集団上のリッジ正則化された LS 解に対応する（定理2）。
• 有効次元と関連する lambda_n パラメータが MSE を支配し、明示的な正則化なしにリッジ様正則化へと結びつける。
• 代理設計は Gaussian-like mu に対して経験的な i.i.d. 設計と一致する MSE 表現を生み出し、さまざまな共分散構造下でも正確さを保つ。
• n/d が一定へ収束する場合、サブガウス行と共分散が有界な場合、代理設計は i.i.d. 設計と漸近的一貫性を持つ（定理3）。
• 解析は determinant-preserving なランダム行列と Poisson 連携構成に依存して行列式の期待を計算する（セクション4、補題4–6）。