[论文解读] Landscape Complexity for the Empirical Risk of Generalized Linear Models

Antoine Maillard, Gérard Ben Arous+1 more|arXiv (Cornell University)|Dec 4, 2019

Statistical Methods and Inference参考文献 49被引用 8

一句话总结

本文提出了一种严格与非严格的方法，用于计算高维广义线性模型中经验风险的 annealed（ annealed）与 quenched（quenched）复杂度——即临界点平均数与典型数的对数。通过将 Kac-Rice 方法扩展至非高斯、高维的随机函数，推导出两种复杂度的显式变分公式，从而能够精确刻画景观拓扑结构，包括从困难优化区域到容易优化区域的相变。

ABSTRACT

We present a method to obtain the average and the typical value of the number of critical points of the empirical risk landscape for generalized linear estimation problems and variants. This represents a substantial extension of previous applications of the Kac-Rice method since it allows to analyze the critical points of high dimensional non-Gaussian random functions. Under a technical hypothesis, we obtain a rigorous explicit variational formula for the annealed complexity, which is the logarithm of the average number of critical points at fixed value of the empirical risk. This result is simplified, and extended, using the non-rigorous Kac-Rice replicated method from theoretical physics. In this way we find an explicit variational formula for the quenched complexity, which is generally different from its annealed counterpart, and allows to obtain the number of critical points for typical instances up to exponential accuracy.

研究动机与目标

• 表征高维广义线性模型中经验风险景观的拓扑结构，特别是虚假临界点存在时的情形。
• 将 Kac-Rice 方法扩展至非高斯随机函数，以分析机器学习中出现的非高斯、高维经验风险函数。
• 在一项技术假设下，严格计算 annealed 复杂度（临界点平均数的对数）。
• 利用统计物理中的非严格但精确的复制法，推导出 quenched 复杂度（临界点典型数的对数）的显式公式。
• 实现对优化景观的完整拓扑分析，包括识别景观从复杂变为良性（benign）的相变点。

提出的方法

• 将 Kac-Rice 方法应用于计算广义线性模型中非高斯数据的经验风险临界点期望数量。
• 在 Hessian 衍生物浓度满足技术假设的前提下，推导出 annealed 复杂度的严格变分公式。
• 利用 Sanov 定理与 Varadhan 引理，对重叠参数与经验测度执行鞍点近似。
• 采用统计物理中的复制法计算 quenched 复杂度，以捕捉典型景观行为。
• 在适当的技术条件下，将该框架推广至多种模型，包括二值分类、高斯混合模型与无监督学习。
• 通过解耦的 i.i.d. 分量分布考虑非球面对称先验，将适用范围扩展至球面对称之外。

实验结果

研究问题

• RQ1 在高维广义线性模型的经验风险景观中，典型临界点的数量是多少？
• RQ2 annealed 与 quenched 复杂度有何不同？哪一种更能表征典型实例？
• RQ3 Kac-Rice 方法能否扩展至机器学习中出现的非高斯、高维随机函数？
• RQ4 景观从存在大量虚假极小值转变为良性状态的拓扑相变点在哪里？
• RQ5 此类景观中临界点的 Hessian 与指标分布如何表征？

主要发现

• 在 Hessian 浓度满足技术假设的前提下，推导出 annealed 复杂度（临界点平均数的对数）的严格显式变分公式。
• quenched 复杂度（反映典型景观行为）通过非严格但精确的复制法计算，得到的公式与 annealed 对应项不同，且更具信息量。
• quenched 复杂度公式可对典型实例中临界点数量实现指数级精度估计，对理解算法性能至关重要。
• 该方法适用于具有非高斯数据的广义线性模型，扩展了以往仅限于高斯函数的 Kac-Rice 应用。
• 为二值分类、高斯混合模型与具有非球面对称先验的无监督学习等关键模型推导出显式公式。
• 结果表明，annealed 复杂度受罕见实例主导，而 quenched 复杂度则捕捉了典型且与算法相关联的景观结构。