[论文解读] A proximal method for composite minimization

Adrian S. Lewis, Stephen J. Wright|arXiv (Cornell University)|Dec 2, 2008

Sparse and Compressive Sensing Techniques参考文献 32被引用 19

一句话总结

本文提出了一种用于复合最小化问题的近端方法，该问题涉及光滑映射与近端正则或凸函数的复合。通过求解一系列正则化、线性化的子问题，该方法实现了全局收敛，并在解附近识别出活动流形，且在凸与非凸示例中表现出令人鼓舞的计算结果。

ABSTRACT

We consider minimization of functions that are compositions of convex or prox-regular functions (possibly extended-valued) with smooth vector functions. A wide variety of important optimization problems fall into this framework. We describe an algorithmic framework based on a subproblem constructed from a linearized approximation to the objective and a regularization term. Properties of local solutions of this subproblem underlie both a global convergence result and an identification property of the active manifold containing the solution of the original problem. Preliminary computational results on both convex and nonconvex examples are promising.

研究动机与目标

• 解决目标函数为光滑函数与可能非光滑、近端正则或凸函数复合的复合优化问题。
• 开发一种利用近端正则化与线性化处理凸与非凸情形的全局收敛算法。
• 建立算法识别包含解的活动流形的理论条件，推广非线性规划中活动集概念。
• 提供一个适用于稀疏优化、非线性规划与正则化最小化问题的统一框架。
• 利用变分分析工具，将经典近端方法扩展至非凸性之外，应用于近端正则函数。

提出的方法

• 将子问题表述为最小化复合目标函数的线性逼近加上一个二次正则化项：$\min_d h(c(x) + \nabla c(x)d) + \frac{1}{2}\mu|d|^2$。
• 采用回溯线搜索策略，根据目标函数的充分下降自适应调整正则化参数$\mu$。
• 利用近端正则性与部分光滑性，确保在解附近子问题存在唯一局部解。
• 应用变分分析工具（如共导数与度量正则性）分析子问题行为与收敛性质。
• 运用次微分的链式法则，通过存在乘子向量$\bar{v}$满足$\bar{v} \in \partial h(\bar{c}) \cap \text{Null}(\nabla c(\bar{x})^*)$来刻画临界点。
• 采用流形识别：当$x$接近解$\bar{x}$时，算法识别出流形$\mathcal{M}$，使得$\Phi(d) \in \mathcal{M}$，其中$\mathcal{M}$是$h$的活动流形。

实验结果

研究问题

• RQ1 在何种条件下，近端线性化子问题在最优点附近产生唯一局部解？
• RQ2 当$h$为近端正则时，算法如何识别外函数$h$的活动流形？
• RQ3 在非凸与扩展值设定下，ProxDescent算法的全局收敛性保证为何？
• RQ4 该算法在何种意义上推广了活动集方法，超越多面体或凸情形？
• RQ5 正则化参数$\mu$的自适应调整如何确保充分下降与收敛？

主要发现

• 在较弱假设下（包括$h$的近端正则性与约束映射的度量正则性），算法实现全局收敛。
• 当$x$足够接近解$\bar{x}$时，子问题解$d$满足$\Phi(d) \in \mathcal{M}$，其中$\mathcal{M}$是$h$在$c(\bar{x})$处的活动流形，从而实现活动流形识别。
• 对于近端正则的$h$，当$\mu$足够大时，子问题存在大小为$O(|x - \bar{x}|)$的唯一局部解$d$。
• 该方法将经典近端方法推广至非凸与扩展值设定，其理论保证超越凸分析范畴。
• 在凸与非凸问题上的初步计算结果表明，该方法具有鲁棒性与高效性，尤其在稀疏优化与正则化任务中表现突出。
• 共导数与度量正则性工具使得即使$h$非凸，也能对子问题行为与收敛性进行严格分析。