[论文解读] Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions

Bruno Loureiro, Gabriele Sicuro+4 more|arXiv (Cornell University)|Jun 7, 2021

Statistical Methods and Inference被引用 10

一句话总结

本论文推导了在高维高斯混合模型中使用广义线性模型进行经验风险最小化的精确渐近公式，证明了在凸损失函数和正则化条件下估计器行为的精确表征。研究揭示了分类性能的相变现象，展示了在真实数据中 $K=10$ 高斯混合近似优于 $K=2$ 的表现，并在 MNIST 和 Fashion-MNIST 上验证了理论学习曲线。

ABSTRACT

Generalised linear models for multi-class classification problems are one of the fundamental building blocks of modern machine learning tasks. In this manuscript, we characterise the learning of a mixture of $K$ Gaussians with generic means and covariances via empirical risk minimisation (ERM) with any convex loss and regularisation. In particular, we prove exact asymptotics characterising the ERM estimator in high-dimensions, extending several previous results about Gaussian mixture classification in the literature. We exemplify our result in two tasks of interest in statistical learning: a) classification for a mixture with sparse means, where we study the efficiency of $\\ell_1$ penalty with respect to $\\ell_2$; b) max-margin multi-class classification, where we characterise the phase transition on the existence of the multi-class logistic maximum likelihood estimator for $K>2$. Finally, we discuss how our theory can be applied beyond the scope of synthetic data, showing that in different cases Gaussian mixtures capture closely the learning curve of classification tasks in real data sets.

研究动机与目标

• 在高维设定下，对具有任意均值和协方差的 $K$ 分量高斯混合模型，表征经验风险最小化器的渐近行为。
• 确定在凸损失函数和正则化条件下多类分类任务中泛化误差与训练误差的精确相变阈值。
• 评估不同正则化方案（特别是 $μat_1$ 与 $μat_2$）在稀疏均值设定下的有效性。
• 评估高斯混合近似在真实世界学习曲线中的有效性，比较 $K=2$ 与 $K=10$ 聚类模型的表现。
• 解释低正则化区域中出现的数值不稳定性，及其与协方差矩阵条件数的关系。

提出的方法

• 使用受统计物理启发的方法，在高维极限下推导估计器 $({\boldsymbol{W}}^*, {\boldsymbol{b}}^*)$ 的精确渐近表达式。
• 应用副本法与自洽方程，表征重叠参数 $q_\pm = {\boldsymbol{W}}^\top {\boldsymbol{\Sigma}}_\pm {\boldsymbol{W}}$ 和局部场分布。
• 采用广义线性模型框架，支持任意凸损失 $\ell$ 和正则化 $r$，包括逻辑回归、岭回归和基追踪。
• 推导多类逻辑回归（$K>2$）中可分性与最大似然估计器存在的相变阈值。
• 通过有限尺寸模拟验证理论预测，并将 $P_2$ 与 $P_{10}$ 近似的学习曲线与真实数据进行比较。
• 识别在 $\lambda \ll 1$ 时自洽方程中出现的虚假不动点，其与病态协方差矩阵密切相关。

实验结果

研究问题

• RQ1 在高维下，对于具有任意均值和协方差的 $K$-高斯混合模型，经验风险最小化器的精确渐近行为是什么？
• RQ2 当真实均值为稀疏时，$μat_1$ 正则化与 $μat_2$ 正则化在估计效率方面有何差异？
• RQ3 当 $K>2$ 时，多类逻辑回归最大似然估计器存在的相变阈值是什么？
• RQ4 $K=2$ 高斯混合近似能否准确捕捉真实数据的学习曲线，还是必须使用 $K=10$ 模型？
• RQ5 为何在低正则化区域会出现数值不稳定性，这与协方差矩阵的条件数有何关联？

主要发现

• 本论文为在 $K$-高斯混合模型上训练的广义线性模型的泛化误差与训练误差建立了精确渐近公式，适用于任意凸损失函数和正则化形式。
• 在稀疏均值模型中，$μat_1$ 正则化在估计效率方面显著优于 $μat_2$，尤其在样本复杂度较低的区域。
• 当 $K>2$ 时，多类逻辑回归最大似然估计器的存在性存在相变，其阈值由均值与协方差的几何结构决定。
• $K=10$ 高斯混合近似（$P_{10}$）在 MNIST 和 Fashion-MNIST 数据上的学习曲线系统性地更接近真实数据，表明其具有更高的保真度。
• 当 $\lambda \ll 1$ 时，自洽方程中会出现虚假不动点，尤其在协方差矩阵病态时，表明低正则化区域存在数值不稳定性。
• 从 $P_2$ 和 $P_{10}$ 近似推导出的理论学习曲线与有限尺寸模拟结果及真实数据实验高度吻合，验证了该模型的预测能力。