[論文レビュー] Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions

Bruno Loureiro, Gabriele Sicuro+4 more|arXiv (Cornell University)|Jun 7, 2021

Statistical Methods and Inference被引用数 10

ひとこと要約

本稿は、一般化線形モデルを用いた高次元ガウス・ミックスチャネル・モデルにおける経験的リスク最小化の正確な漸近公式を導出し、凸損失関数および正則化の下での推定子の挙動を精密に特徴づける。分類性能におけるフェーズ転移を確立し、実データにおいて $K=10$ のガウス・ミックスチャネル近似が $K=2$ より優れていることを示し、MNIST および Fashion-MNIST における理論的学習曲線の妥当性を検証する。

ABSTRACT

Generalised linear models for multi-class classification problems are one of the fundamental building blocks of modern machine learning tasks. In this manuscript, we characterise the learning of a mixture of $K$ Gaussians with generic means and covariances via empirical risk minimisation (ERM) with any convex loss and regularisation. In particular, we prove exact asymptotics characterising the ERM estimator in high-dimensions, extending several previous results about Gaussian mixture classification in the literature. We exemplify our result in two tasks of interest in statistical learning: a) classification for a mixture with sparse means, where we study the efficiency of $\\ell_1$ penalty with respect to $\\ell_2$; b) max-margin multi-class classification, where we characterise the phase transition on the existence of the multi-class logistic maximum likelihood estimator for $K>2$. Finally, we discuss how our theory can be applied beyond the scope of synthetic data, showing that in different cases Gaussian mixtures capture closely the learning curve of classification tasks in real data sets.

研究の動機と目的

• 一般化された平均および共分散を有する $K$ 成分のガウス・ミックスチャネルに対して、高次元設定における経験的リスク最小化の漸近的挙動を特徴づけること。
• 凸損失関数および正則化の下での多クラス分類における一般化誤差およびトレーニング誤差の正確なフェーズ転移を特定すること。
• 特に $\ell_1$ と $\ell_2$ の比較において、スパースな平均設定下での正則化手法の有効性を評価すること。
• 実世界の学習曲線を正確に捉えるために、ガウス・ミックスチャネル近似の妥当性を評価し、$K=2$ と $K=10$ のクラスターモデルを比較すること。
• 共分散行列の条件数に起因する、低正則化領域における数値的不安定性の原因を解明すること。

提案手法

• 統計物理学にインspiredされた手法を用いて、高次元極限における推定量 $({\boldsymbol{W}}^*, {\boldsymbol{b}}^*)$ の正確な漸近的表現を導出する。
• レプリカ法と自己無撞着方程式を用い、重ね合わせパラメータ $q_\pm = {\boldsymbol{W}}^\top {\boldsymbol{\Sigma}}_\pm {\boldsymbol{W}}$ および局所場の分布を特徴づける。
• 任意の凸損失 $\ell$ および正則化 $r$ を含む一般化線形モデルフレームワークを採用し、ロジスティック回帰、リッジ回帰、および基本追求法を含む。
• 多クラスロジスティック回帰 ($K>2$) における分離可能性および最尤推定量の存在に関するフェーズ転移閾値を導出する。
• 有限サイズのシミュレーションを用いて理論的予測を検証し、実データに対する $P_2$ および $P_{10}$ 近似の学習曲線を比較する。
• 正則化パrameter $\lambda$ が非常に小さい場合に、自己無撞着方程式に偽の固定点が出現することを特定し、これは共分散行列が悪条件であることに起因する。

実験結果

リサーチクエスチョン

• RQ1 任意の平均および共分散を有する $K$ 成分のガウス・ミックスチャネルに対して、高次元における経験的リスク最小推定量の正確な漸近的挙動は何か？
• RQ2 真の平均がスパースな場合に、$\ell_1$ 正則化と $\ell_2$ 正則化の推定効率はどのように比較されるか？
• RQ3 $K>2$ の場合に多クラスロジスティック回帰の最尤推定量が存在するフェーズ転移閾値は何か？
• RQ4 $K=2$ のガウス・ミックスチャネル近似は、実データの学習曲線を正確に捉えることができるか、それとも $K=10$ モデルが必要か？
• RQ5 低正則化領域における数値的不安定性はなぜ発生するのか？これは共分散行列の条件数とどのように関係しているか？

主な発見

• 本稿は、任意の凸損失関数および正則化に対して有効な、一般化線形モデルが $K$ 成分のガウス・ミックスチャネルで学習された場合の一般化誤差およびトレーニング誤差の正確な漸近的公式を確立した。
• スパースな平均モデルでは、$\ell_1$ 正則化が $\ell_2$ 正則化よりも推定効率において顕著に優れている。特に、サンプル数が少ない状況下で顕著である。
• $K>2$ の多クラスロジスティック回帰において、最尤推定量の存在に関するフェーズ転移が存在し、その閾値は平均および共分散の幾何的性質によって決定される。
• MNIST および Fashion-MNIST データに対する $K=10$ のガウス・ミックスチャネル近似（$P_{10}$）は、$K=2$ 近似（$P_2$）よりも、実データの学習曲線に一貫して近い結果を示し、より高い忠実度を示している。
• 正則化パrameter $\lambda \ll 1$ の場合に、自己無撞着方程式に偽の固定点が出現し、これは共分散行列が悪条件である場合に顕著に現れる。これは、低正則化領域における数値的不安定性を示唆している。
• $P_2$ および $P_{10}$ 近似から導出された理論的学習曲線は、有限サイズのシミュレーションおよび実データ実験とよく一致しており、モデルの予測能力を裏付けている。