[论文解读] Analysis of Krylov Subspace Solutions of Regularized Nonconvex Quadratic Problems

Yair Carmon, John C. Duchi|arXiv (Cornell University)|Jun 24, 2018

Matrix Theory and Algorithms被引用 18

一句话总结

本文首次对正则化非凸二次问题的Krylov子空间解进行了收敛速率分析，表明次优间隙以 $1/t^2$ 和 $e^{-4t/\tilde{\rho}}$ 的速率衰减，其中 $t$ 为Krylov子空间维数，$\tilde{\rho}$ 为广义条件数。该分析适用于信赖域与四次正则化问题，建立了紧致的下界，并通过随机初始化避免了‘困难情形’。

ABSTRACT

We provide convergence rates for Krylov subspace solutions to the trust-region and cubic-regularized (nonconvex) quadratic problems. Such solutions may be efficiently computed by the Lanczos method and have long been used in practice. We prove error bounds of the form $1/t^2$ and $e^{-4t/\sqrtκ}$, where $κ$ is a condition number for the problem, and $t$ is the Krylov subspace order (number of Lanczos iterations). We also provide lower bounds showing that our analysis is sharp.

研究动机与目标

• 填补Krylov子空间方法在求解正则化非凸二次问题时缺乏理论收敛保证的空白。
• 为信赖域与四次正则化子问题的Krylov子空间解提供收敛速率。
• 将凸二次与特征向量问题的已知结果作为特例统一并拓展。
• 通过引入随机化，避免对 $|u_{\text{min}}^T b|$ 的依赖，从而克服非凸问题中的‘困难情形’。
• 建立紧致的下界，以证明所推导收敛速率的最优性。

提出的方法

• 使用Lanczos方法构造维数为 $t$ 的Krylov子空间 $\mathcal{K}_t(A,b) = \mathrm{span}\{b, Ab, \dots, A^{t-1}b\}$。
• 将子问题表述为在 $\mathcal{K}_t(A,b)$ 上最小化正则化二次目标函数，可通过三对角化与牛顿法求解。
• 通过多项式逼近的边界分析收敛性，将最优性间隙与特征值分布及条件数 $\kappa$ 联系起来。
• 在初始向量 $b$ 中引入随机化，以 $\Theta(1/\sqrt{d})$ 替代 $|u_{\min}^T b|$，从而规避困难情形。
• 推导出子最优性间隙的上界为 $O(1/t^2)$ 和 $O(e^{-4t/\sqrt{\kappa}})$。
• 建立匹配的下界，以证明收敛速率的紧致性。

实验结果

研究问题

• RQ1 Krylov子空间解在正则化非凸二次问题中的收敛速率是什么？
• RQ2 子最优性间隙能否以Krylov子空间维数 $t$ 和广义条件数 $\kappa$ 表示？
• RQ3 初始向量 $b$ 的随机化如何影响在 $|u_{\min}^T b|$ 较小时的困难情形下的收敛性？
• RQ4 所推导的收敛速率是否紧致？能否建立匹配的下界？
• RQ5 这些结果如何统一或拓展先前关于凸二次与特征向量问题的工作？

主要发现

• Krylov子空间解的子最优性间隙以 $O(1/t^2)$ 的速率衰减，与非迭代方法的最佳已知速率一致。
• 建立了 $O(e^{-4t/\sqrt{\kappa}})$ 的指数收敛速率，其中 $\kappa$ 为问题的广义条件数。
• 分析是紧致的：提供了匹配的下界，表明所推导的速率在一般情况下无法进一步改进。
• 对初始向量 $b$ 的随机化使得 $1/t^2$ 边界不再依赖于 $|u_{\min}^T b|$，从而避免了困难情形。
• 结果统一适用于信赖域与四次正则化问题，而此前的工作仅处理其中一种变体。
• 数值实验表明，当特征值间隙 $\gamma$ 较小时，随机化可使收敛在 $\sim \log d / \sqrt{\gamma}$ 次迭代后达到线性收敛。