[論文レビュー] A Model of Double Descent for High-dimensional Binary Linear Classification

Zeyu Deng, Abla Kammoun+1 more|arXiv (Cornell University)|Nov 13, 2019

Sparse and Compressive Sensing Techniques参考文献 57被引用数 19

ひとこと要約

本稿は、ロジスティック損失の勾配降下法を用いた高次元二値線形分類におけるダブルデセントの理論的モデルを構築する。勾配降下法が最大尤度解またはマックスマージン（SVM）解に収束するかどうかのフェーズ転移が過パラメータ化比 $κ_\star$ で発生することを特定し、凸ガウス最小最大化定理（CGMT）を用いて分類誤差を鋭く特徴づけ、$κ$ が $κ_\star$ を超えて増加する際の一般化性能におけるダブルデセント曲線を明らかにする。本研究は、線形回帰における先行研究を分類に拡張し、ガウス特徴量を有するロジスティックモデルにおいてこの現象を検証する。

ABSTRACT

We consider a model for logistic regression where only a subset of features of size $p$ is used for training a linear classifier over $n$ training samples. The classifier is obtained by running gradient descent (GD) on logistic loss. For this model, we investigate the dependence of the classification error on the overparameterization ratio $κ=p/n$. First, building on known deterministic results on the implicit bias of GD, we uncover a phase-transition phenomenon for the case of Gaussian features: the classification error of GD is the same as that of the maximum-likelihood (ML) solution when $κκ_\star$. Next, using the convex Gaussian min-max theorem (CGMT), we sharply characterize the performance of both the ML and the SVM solutions. Combining these results, we obtain curves that explicitly characterize the classification error for varying values of $κ$. The numerical results validate the theoretical predictions and unveil double-descent phenomena that complement similar recent findings in linear regression settings as well as empirical observations in more complex learning scenarios.

研究の動機と目的

• 勾配降下法の一般化誤差を高次元二値線形分類におけるロジスティック損失に関して理解すること。
• 勾配降下法の暗黙的バイアスが最大尤度からマックスマージン（SVM）解にシフトする過パラメータ化閾値 $κ_\star$ を特定すること。
• 凸ガウス最小最大化定理（CGMT）を用いて、過パラメータ化比 $κ = p/n$ の関数として分類誤差を特徴づけること。
• 線形回帰からの先行研究を拡張し、ロジスティック分類におけるダブルデセントが成立する条件を確立すること。

提案手法

• 著者らは、$p$ 個の特徴量と $n$ 個の訓練サンプルを有するロジスティックモデルとガウス混合（GM）モデルを用いて二値分類をモデル化する。
• ロジスティック損失における勾配降下法を分析し、その暗黙的バイアスに関する既知の結果を活用して、$κ < \kappa_\star$ の場合に最大尤度（ML）解、$κ > \kappa_\star$ の場合にマックスマージン（SVM）解に収束することを示す。
• 分類性能を、凸ガウス最小最大化定理（CGMT）を用いて鋭く特徴づける。これにより、高次元ランダム行列設定下での最適化問題の漸近的解析が可能になる。
• データが線形分離可能（したがって勾配降下法がSVMに収束）であるためのフェーズ転移閾値 $κ_\star \in (0, 1/2)$ を導出する。
• CGMTフレームワークを拡張し、実行可能性の問題と有界性仮定を扱えるようにし、確率的収束ではなく確実収束の結果を得られるようにする。
• 数値シミュレーションを実施し、$κ$ を変化させた際のリスクおよびコサイン類似度曲線を理論的予測と照合する。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック損失における勾配降下法の暗黙的バイアスが最大尤度からマックスマージン解にシフトする過パラメータ化比 $\kappa = p/n$ は何か？
• RQ2 ガウス特徴量を有する高次元二値線形分類において、$\kappa$ の関数として分類誤差はどのように振る舞うか？
• RQ3 凸ガウス最小最大化定理（CGMT）を用いて、ロジスティック分類におけるダブルデセント現象を厳密に特徴づけることができるか？
• RQ4 一般化誤差の観点から、解がMLとSVMの両方の性質を示す領域を分ける正確な閾値 $\kappa_\star$ は何か？
• RQ5 理論的予測によるリスクおよびコサイン類似度の一致度は、実験的シミュレーションとどの程度一致するか？

主な発見

• 勾配降下法の分類誤差は、$\kappa < \kappa_\star$ の場合に最大尤度（ML）解の誤差と一致し、$\kappa > \kappa_\star$ の場合にマックスマージン（SVM）解の誤差と一致する。ここで $\kappa_\star \in (0, 1/2)$ である。
• 一般化誤差は、$\kappa$ が増加するに従いダブルデセント曲線を示す。誤差は当初減少し、$\kappa_\star$ を超えて増加し、その後過パラメータ化領域で再び減少する。
• 凸ガウス最小最大化定理（CGMT）は、MLおよびSVM解の両方の分類誤差を鋭く漸近的に特徴づけ、リスク曲線の正確な理論的予測を可能にする。
• 数値的シミュレーションにより理論的予測が確認され、$\kappa$ および信号対雑音比を変化させた場合に、シミュレートされたリスクと理論的曲線の間で良好な一致が得られた。
• 著者らは、解のノルムが確実に決定的極限に収束することを確立し、CGMTの適用範囲を確率的収束から拡張した。
• 本稿は、実行可能性解析と有界性仮定の除去を可能にするCGMTの新たな拡張を提供し、将来的な最適化ベースの推論アルゴリズム研究のための原則的フレームワークを提供する。