[论文解读] Line Search and Trust-Region Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|Jun 13, 2018

Advanced Optimization Algorithms Research参考文献 20被引用 4

一句话总结

本文提出并分析了三种下降方法——回溯线搜索、弱Wolfe线搜索和信赖域方法——用于求解形式为 $\min_x h(c(x)) + g(x)$ 的凸复合优化问题，其中 $h$ 为凸函数，$g$ 为闭的适当凸函数，$c$ 为 $C^1$-光滑函数。主要贡献是在较弱假设下证明了对一阶驻点的全局收敛性，收敛性通过模型函数 $\Delta f(x;d)$ 的下降性以及步长和信赖域半径的保护机制得以建立。

ABSTRACT

We consider descent methods for solving non-finite valued nonsmooth convex-composite optimization problems that employ Gauss-Newton subproblems to determine the iteration update. Specifically, we establish the global convergence properties for descent methods that use a backtracking line search, a weak Wolfe line search, or a trust-region update. All of these approaches are designed to exploit the structure associated with convex-composite problems.

研究动机与目标

• 解决机器学习和动力系统中出现的凸复合优化问题对高效、全局收敛算法的需求。
• 开发并分析利用 $h(c(x)) + g(x)$ 结构的下降方法，其中 $g$ 引入稀疏性或约束条件。
• 通过高斯-牛顿型子问题，为三种方法（回溯线搜索、弱Wolfe线搜索和信赖域）建立全局收敛性。
• 为无穷值、非光滑复合问题提供收敛保证，扩展了以往针对有限值或邻近点方法的研究。

提出的方法

• 使用高斯-牛顿子问题计算搜索方向 $d^k$，以最小化 $\Delta f(x^k; d) = h(c(x^k) + \nabla c(x^k)d) + g(x^k + d) - f(x^k)$，约束条件为 $\|d\| \leq \eta_k$。
• 采用基于Armijo型条件的回溯线搜索，使用模型函数 $\Delta f(x;d)$ 作为方向导数的代理。
• 通过使用 $\Delta f(x;d)$ 估计下降和曲率条件，将弱Wolfe线搜索推广至非光滑、无穷值函数。
• 采用信赖域策略，通过半径 $\delta_k$ 控制步长，并根据预测下降与实际下降的对比自适应调整。
• 引入保护机制：若迭代点在固定邻域内停留过久，则目标函数将趋于 $-\infty$，与假设矛盾。
• 使用模型函数 $\Delta f(x;d)$ 定义下降条件 $\Delta f(x^k; d^k) < 0$，并通过参数 $\beta_1, \beta_2, \kappa_1, \kappa_2$ 确保充分下降。

实验结果

研究问题

• RQ1 能否将回溯线搜索与弱Wolfe线搜索方法适配于具有结构化分量的无穷值、非光滑凸复合问题？
• RQ2 基于高斯-牛顿子问题的信赖域方法是否能确保此类问题的全局收敛性？
• RQ3 在非光滑函数的线搜索与信赖域框架中，能否使用 $\Delta f(x;d)$ 作为模型函数替代方向导数？
• RQ4 在何种条件下可确保目标函数充分下降且迭代点收敛至驻点？
• RQ5 所提出的三种方法在收敛行为与假设上与邻近点法或标准光滑优化方法有何不同？

主要发现

• 在较弱假设下，回溯法、弱Wolfe法与信赖域法均能确保收敛至一阶驻点。
• 全局收敛性通过反证法建立：若迭代点有界但不收敛，则目标函数将无界下降，与工作假设矛盾。
• 模型函数 $\Delta f(x;d)$ 用于定义下降与曲率条件，替代非光滑情形下的方向导数。
• 信赖域方法通过控制 $\delta_k$ 控制步长，当预测下降未实现时，通过自适应优化确保充分下降。
• 弱Wolfe线搜索通过使用 $\Delta f(x;d)$ 估计充分下降与曲率条件，成功推广至无穷值问题，适用于非光滑 $g$。
• 所有迭代点的聚点均为一阶驻点，因为在极限点 $\bar{x}$ 处有 $\Delta^C_1 f(\bar{x}) = 0$，此结论在定理6.1的假设下成立。