[论文解读] A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization

Meisam Razaviyayn, Mingyi Hong+1 more|arXiv (Cornell University)|Sep 11, 2012

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文针对非光滑与非凸优化中的块逐次最小化方法提出了一套统一的收敛性分析，其中子问题通过局部紧致的上界或凸近似求解。核心贡献是一个通用的收敛性框架，统一并扩展了经典算法（如BCD、DC、EM和邻近最小化法），适用于非精确更新的情形。

ABSTRACT

The block coordinate descent (BCD) method is widely used for minimizing a continuous function f of several block variables. At each iteration of this method, a single block of variables is optimized, while the remaining variables are held fixed. To ensure the convergence of the BCD method, the subproblem to be optimized in each iteration needs to be solved exactly to its unique optimal solution. Unfortunately, these requirements are often too restrictive for many practical scenarios. In this paper, we study an alternative inexact BCD approach which updates the variable blocks by successively minimizing a sequence of approximations of f which are either locally tight upper bounds of f or strictly convex local approximations of f. We focus on characterizing the convergence properties for a fairly wide class of such methods, especially for the cases where the objective functions are either non-differentiable or nonconvex. Our results unify and extend the existing convergence results for many classical algorithms such as the BCD method, the difference of convex functions (DC) method, the expectation maximization (EM) algorithm, as well as the alternating proximal minimization algorithm.

研究动机与目标

• 解决在非光滑与非凸问题中精确块坐标下降法（BCD）的局限性，其中子问题难以精确求解。
• 为使用逐次逼近而非精确子问题解的非精确BCD方法，构建一个通用的收敛性框架。
• 统一并扩展主要经典算法（如差为凸（DC）规划、EM算法和交替邻近最小化）的收敛性结果。
• 针对多种更新规则（循环、高斯-苏特威尔、重叠基本循环）提供收敛性保证，涵盖上界策略与凸近似策略。

提出的方法

• 提出一种逐次上界最小化（SUM）框架，其中每个子问题通过最小化原目标函数的局部紧致上界来求解。
• 引入一种逐次凸近似（SCA）策略，即在每次迭代中最小化目标函数的严格凸局部近似。
• 在包括循环、高斯-苏特威尔和重叠基本循环在内的通用块更新规则下分析收敛性。
• 在较弱假设下（如目标函数连续、变量集闭且凸）建立收敛至驻点的结果。
• 利用类李雅普诺夫函数与下降性质证明收敛性，充分利用近似结构的特性。
• 通过序列近似 $ g(x, x^r) $ 形式化框架，其上界或局部凸化 $ f(x) $，确保目标函数值充分下降。

实验结果

研究问题

• RQ1 能否为使用逐次逼近而非精确子问题解的非精确块坐标方法，建立统一的收敛性分析？
• RQ2 在何种条件下，逐次上界最小化与逐次凸近似方法在非光滑与非凸问题中收敛？
• RQ3 不同的块更新规则（如循环、高斯-苏特威尔或重叠基本循环）在非精确设置下如何影响收敛性？
• RQ4 经典算法（如EM、DC规划和邻近最小化）在多大程度上可被统一于单一收敛性框架之下？
• RQ5 当子问题以非精确方式求解，但近似保持局部紧致或凸性时，能否保证收敛？

主要发现

• 所提出的非精确块逐次最小化框架在较弱假设下可保证全局收敛至驻点，即使目标函数为非凸或非光滑。
• 期望最大化（EM）算法及其块坐标变体（BEM）被证明是所提SUM框架的特例，且在相同条件下建立收敛性。
• 块坐标版本的凹-凸过程（CCCP），即DC规划，也统一于BSUM框架下，对循环与高斯-苏特威尔更新规则均证明收敛。
• 收敛性分析可扩展至交替邻近最小化算法，表明通过邻近近似实现的非精确更新仍能保证收敛。
• 该框架允许子问题以非精确方式求解，只要近似保持局部紧致或凸性，从而显著拓宽了在实际问题中的适用性。
• 理论结果足够通用，可涵盖并扩展先前关于BCD、DC、EM和邻近方法的收敛性结果，提供统一的分析框架。