[论文解读] Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses

Ulysse Marteau-Ferey, Francis Bach+1 more|arXiv (Cornell University)|Jul 3, 2019

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文通过求解正则化参数递减的一系列问题，提出了一种适用于病态条件广义自共形损失（如逻辑回归和Softmax回归）的全局收敛牛顿法。该方法实现了与条件数对数相关的线性收敛速率，并首次为非参数逻辑回归提供了大规模、理论保证的最优复杂度算法，且不依赖于条件数。

ABSTRACT

In this paper, we study large-scale convex optimization algorithms based on the Newton method applied to regularized generalized self-concordant losses, which include logistic regression and softmax regression. We first prove that our new simple scheme based on a sequence of problems with decreasing regularization parameters is provably globally convergent, that this convergence is linear with a constant factor which scales only logarithmically with the condition number. In the parametric setting, we obtain an algorithm with the same scaling than regular first-order methods but with an improved behavior, in particular in ill-conditioned problems. Second, in the non parametric machine learning setting, we provide an explicit algorithm combining the previous scheme with Nystr{\\"o}m projection techniques, and prove that it achieves optimal generalization bounds with a time complexity of order O(ndf $\\lambda$), a memory complexity of order O(df 2 $\\lambda$) and no dependence on the condition number, generalizing the results known for least-squares regression. Here n is the number of observations and df $\\lambda$ is the associated degrees of freedom. In particular, this is the first large-scale algorithm to solve logistic and softmax regressions in the non-parametric setting with large condition numbers and theoretical guarantees.

研究动机与目标

• 解决机器学习中病态条件问题带来的挑战，其中一阶方法的性能随条件数显著下降。
• 克服传统牛顿方法缺乏全局收敛性且在大规模设置下计算成本过高的局限性。
• 开发一种适用于广义自共形损失（包括逻辑回归和Softmax回归）的全局收敛二阶方法。
• 在非参数核学习中实现最优泛化界，时间复杂度为 O(n·dfλ)，内存复杂度为 O(dfλ²)，且与条件数无关。
• 为非参数设置下的大规模、病态条件逻辑回归与Softmax回归提供理论保证——此前尚未解决。

提出的方法

• 提出一种路径追踪方案，通过求解一系列正则化参数 μ ≥ λ 递减的正则化问题。
• 对每个 fμ 使用近似牛顿步，利用局部自共形性质确保全局收敛。
• 借助广义自共形框架，通过局部条件数 κℓ = R²/λ 的有界性，实现对病态性的对数依赖。
• 将路径追踪牛顿法与Nyström投影技术结合，以降低无限维希尔伯特空间中的维度。
• 采用均匀采样或基于杠杆度的采样策略，构建海森矩阵的低秩近似，确保牛顿步的稳定与精确。
• 证明在投影空间中，近似牛顿步可以以高概率获得全问题的 ρ-近似解。

实验结果

研究问题

• RQ1 能否设计一种适用于病态条件广义自共形损失的全局收敛牛顿法，且无需高精度海森矩阵求逆？
• RQ2 所提方法是否能在病态条件下实现与全局条件数无关的收敛速率？
• RQ3 该算法是否可在非参数核学习中保持最优的时间与内存复杂度，同时求解逻辑回归与Softmax回归？
• RQ4 是否能够将路径追踪牛顿法与Nyström投影结合，实现无条件数依赖的最优泛化界？
• RQ5 在大规模问题中，采用何种采样策略（均匀采样或杠杆度采样）可确保低秩海森矩阵近似的稳定与精确？

主要发现

• 该算法实现了全局收敛，且收敛速率呈线性，收敛因子与局部条件数 κℓ 呈对数关系。
• 在参数设置下，该方法的复杂度与最优一阶方法相当，但在病态问题中表现更优。
• 在非参数设置下，该算法实现了时间复杂度 O(n·dfλ) 和内存复杂度 O(dfλ²)，且与条件数无关。
• 该方法是首个在非参数设置下，对高病态条件下的逻辑回归与Softmax回归提供理论保证的大规模算法。
• 以高概率，使用杠杆度采样或均匀采样的Nyström采样可获得牛顿步的 ρ-近似解，确保收敛稳定。
• 理论分析表明，海森矩阵近似误差可通过谱范数有界，从而对低秩投影误差具有鲁棒性。