[论文解读] MOCCA: mirrored convex/concave optimization for nonconvex composite functions

Rina Foygel Barber, Emil Y. Sidky|arXiv (Cornell University)|Oct 29, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用 17

一句话总结

本文提出了MOCCA（镜像凸/凹优化），一种用于非凸复合优化问题 $ F(Kx) + G(x) $ 的原始-对偶算法，其中 $ F $ 和 $ G $ 可能是非凸或不可微的。该方法在每次迭代中使用局部凸近似，并在近似凸性条件下提供收敛性保证，实证结果表明其在结构化信号恢复问题上具有快速收敛性。

ABSTRACT

Many optimization problems arising in high-dimensional statistics decompose naturally into a sum of several terms, where the individual terms are relatively simple but the composite objective function can only be optimized with iterative algorithms. In this paper, we are interested in optimization problems of the form F(Kx) + G(x), where K is a fixed linear transformation, while F and G are functions that may be nonconvex and/or nondifferentiable. In particular, if either of the terms are nonconvex, existing alternating minimization techniques may fail to converge; other types of existing approaches may instead be unable to handle nondifferentiability. We propose the MOCCA (mirrored convex/concave) algorithm, a primal/dual optimization approach that takes local convex approximation to each term at every iteration. Inspired by optimization problems arising in computed tomography (CT) imaging, this algorithm can handle a range of nonconvex composite optimization problems, and offers theoretical guarantees for convergence when the overall problem is approximately convex (that is, any concavity in one term is balanced out by convexity in the other term). Empirical results show fast convergence for several structured signal recovery problems.

研究动机与目标

• 解决现有方法难以处理的非凸复合优化问题，其中 $ F $ 和 $ G $ 可能是非凸或不可微的。
• 开发一种结合主要化/最小化与原始/对偶技术的方法，以处理图像重建等复杂现实问题，例如计算机断层扫描（CT）。
• 在整体问题近似凸性条件下，即一项中的任何凹性被另一项的凸性所平衡时，提供理论收敛性保证。
• 提供一种灵活的框架，使得 $ F $ 和 $ G $ 可在每次迭代中通过凸函数进行局部近似，从而扩大其适用范围。

提出的方法

• 提出MOCCA算法，一种使用局部凸近似处理非凸或不可微函数 $ F $ 和 $ G $ 的原始-对偶方法，每次迭代中进行处理。
• 采用带外推（$ \theta = 1 $）的预处理Chambolle-Pock风格迭代方案，求解问题的鞍点形式。
• 在每次迭代中，用凸上界 $ F^{(t)} $ 和 $ G^{(t)} $ 替代 $ F $ 和 $ G $，形成一个可通过邻近步骤求解的凸子问题。
• 在对偶空间中采用类似镜像下降的更新方式，对偶变量 $ w $ 通过 $ \arg\min_w \{ -\langle K\bar{x}^{t+1}, w \rangle + F^*(w) + \frac{1}{2}\|w - w^t\|^2_{\Sigma^{-1}} \} $ 更新。
• 引入一种稳定的内层循环版本（算法2），并通过带凸近似的预处理ADMM将MOCCA与ADMM联系起来。
• 基于单调性和李雅普诺夫函数的收敛性分析，证明在近似凸性条件下，算法以次线性速率收敛至解。

实验结果

研究问题

• RQ1 具有局部凸近似的原始-对偶算法是否能在标准方法失效的非凸复合问题中实现收敛？
• RQ2 当 $ F $ 和 $ G $ 为非凸或不可微时，MOCCA算法在何种条件下收敛？
• RQ3 在结构化信号恢复任务中，MOCCA与现有交替最小化或邻近方法相比，在性能和鲁棒性方面表现如何？
• RQ4 MOCCA框架能否与ADMM及预处理原始-对偶方法相连接，同时保持收敛性保证？

主要发现

• 当整体问题近似凸时，即 $ F $ 或 $ G $ 中的任何凹性被另一项的凸性所平衡时，MOCCA可实现次线性收敛至解。
• 该算法在结构化信号恢复问题上表现出快速收敛性，包括计算机断层扫描（CT）成像中出现的问题。
• 理论分析证明，在函数和步长满足适当假设的条件下，迭代序列以 $ O(1/L) $ 的速率收敛至解，其中 $ L $ 为迭代次数。
• 即使 $ F $ 和 $ G $ 不可微或非凸，只要它们具有有界曲率的局部凸近似，收敛性保证依然成立。
• MOCCA算法被证明等价于带凸近似的预处理ADMM，从而将ADMM的适用范围扩展至非凸场景。
• 实证结果证实，MOCCA在非凸复合问题上优于标准邻近法和交替最小化方法，尤其在高维设置中表现更优。