[论文解读] Line Search Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|Jun 13, 2018

Advanced Optimization Algorithms Research被引用 3

一句话总结

本文提出了一种用于凸复合优化问题的线搜索方法，利用高斯-牛顿子问题获得的下降方向。通过引入方向导数的连续逼近，实现了弱Wolfe线搜索和回溯线搜索，确保了在具有复合结构的非光滑、无穷值问题中实现全局收敛。

ABSTRACT

We consider descent methods for solving infinite-valued nonsmooth convex-composite optimization problems that employ search directions derived from Gauss-Newton subproblems. The descent algorithms are based on either a weak Wolfe or a backtracking line search using a continuous approximation to the directional derivative that exploits the structure associated with convex-composite problems.

研究动机与目标

• 为解决具有不可微分分量的无穷值、非光滑凸复合优化问题的挑战。
• 开发在目标函数缺乏光滑性和存在无穷值的情况下仍能保持全局收敛的下降算法。
• 利用凸复合问题的结构，设计高效且可靠的线搜索策略。
• 通过方向导数的连续逼近，利用弱Wolfe或回溯线搜索确保收敛。

提出的方法

• 该方法通过求解针对优化问题复合结构定制的高斯-牛顿子问题，获得下降方向。
• 利用方向导数的连续逼近，利用凸复合框架实现线搜索过程。
• 算法应用弱Wolfe线搜索或回溯线搜索，以确保目标函数的充分下降。
• 该方法通过依赖复合问题的结构和子问题解，处理无穷值函数。
• 在标准假设下，通过利用连续方向导数逼近和下降方向的性质，建立了收敛性。

实验结果

研究问题

• RQ1 线搜索方法如何适应无穷值、非光滑的凸复合优化问题？
• RQ2 在复合问题中，如何有效逼近方向导数以实现线搜索？
• RQ3 当应用于此类问题时，弱Wolfe或回溯线搜索能否确保全局收敛？
• RQ4 高斯-牛顿子问题在此背景下如何贡献于下降方向的计算？

主要发现

• 所提出的线搜索方法在具有无穷值目标函数的凸复合问题中实现了全局收敛。
• 方向导数的连续逼近使得在非光滑设置下线搜索策略的实际实现成为可能。
• 弱Wolfe和回溯线搜索在所提出的框架下均被证明是有效的。
• 基于高斯-牛顿的下降方向提供了一种可靠且具有结构感知性的优化方法。