[论文解读] A classification for the performance of online SGD for high-dimensional inference.

Gérard Ben Arous, Reza Gheissari+1 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques参考文献 67被引用 2

一句话总结

本文通过定义种群损失的内在属性——'信息指数'，对高维推断中在线随机梯度下降（SGD）性能进行了分类。它识别出三种由弱恢复所需样本数决定的范式：线性、准线性和多项式，分别对应于维度的线性、准线性和多项式增长，其应用涵盖广义线性模型、相位恢复和通过埃尔米特分解的神经网络。

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from a large number of independent samples of data by iteratively optimizing a loss function. This loss function is high-dimensional, random, and often complex. We study here the performance of the simplest version of SGD, namely online SGD, in the initial search phase, where the algorithm is far from a trust region and the loss landscape is highly non-convex. To this end, we investigate the performance of online SGD at attaining a better than random correlation with the unknown parameter, i.e, achieving weak recovery. Our contribution is a classification of the difficulty of typical instances of this task for online SGD in terms of the number of samples required as the dimension diverges. This classification depends only on an intrinsic property of the population loss, which we call the information exponent. Using the information exponent, we find that there are three distinct regimes---the easy, critical, and difficult regimes---where one requires linear, quasilinear, and polynomially many samples (in the dimension) respectively to achieve weak recovery. We illustrate our approach by applying it to a wide variety of estimation tasks such as parameter estimation for generalized linear models, two-component Gaussian mixture models, phase retrieval, and spiked matrix and tensor models, as well as supervised learning for single-layer networks with general activation functions. In this latter case, our results translate into a classification of the difficulty of this task in terms of the Hermite decomposition of the activation function.

研究动机与目标

• 理解在线SGD在高维、非凸优化设置下的初始阶段性能。
• 对在高维推断任务中实现弱恢复（与真实参数相关性优于随机水平）的难度进行分类。
• 基于种群损失的内在属性，识别出样本复杂度范式（线性、准线性、多项式）。
• 统一分析高斯混合、相位恢复和单层神经网络等多样化估计任务。
• 将神经网络中学习的难度与激活函数的埃尔米特分解联系起来。

提出的方法

• 引入'信息指数'作为控制样本复杂度的种群损失函数的关键内在属性。
• 在远离任何信任区域的初始阶段，分析非凸损失景观下的在线SGD。
• 使用统计物理启发的技术，以与真实参数的相关性来表征弱恢复性能。
• 基于信息指数的取值推导样本复杂度阈值，区分出三种截然不同的范式。
• 将该框架应用于广义线性模型、两分量高斯混合、带潜变量张量与矩阵模型以及单层网络。
• 对于神经网络，将学习难度映射到激活函数的埃尔米特系数，实现通过谱分解进行分类。

实验结果

研究问题

• RQ1 是什么决定了在线SGD在高维推断中实现弱恢复所需的样本复杂度？
• RQ2 种群损失的结构如何影响在线SGD在初始非凸阶段的收敛行为？
• RQ3 能否通过单一内在属性对在线SGD在高维推断任务中的难度进行分类？
• RQ4 激活函数的埃尔米特分解如何与单层神经网络的可学习性相关联？
• RQ5 在高维设置下，弱恢复的样本复杂度存在哪些不同的范式？

主要发现

• 种群损失的信息指数完全决定了通过在线SGD实现弱恢复的样本复杂度范式。
• 三种截然不同的范式浮现：简单（线性样本）、临界（准线性样本）和困难（多项式样本），分别对应于维度的线性、准线性和多项式增长。
• 该分类具有普适性，适用于广义线性模型、高斯混合模型、相位恢复以及带潜变量张量/矩阵模型。
• 对于单层神经网络，学习难度由激活函数的埃尔米特分解决定，高阶分量会增加样本复杂度。
• 研究结果提供了弱恢复的精确阈值，表明性能在很大程度上取决于损失种群结构的尾部行为。
• 该框架可仅基于信息指数预测成功推断所需的样本量，而无需模拟。