[論文レビュー] A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization

Meisam Razaviyayn, Mingyi Hong+1 more|arXiv (Cornell University)|Sep 11, 2012

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、非滑らかかつ非凸最適化におけるブロック逐次最小化法について、局所的にタイトな上界または凸近似を用いて部分問題を解く場合の統一的収束解析を提示する。主な貢献は、正確な更新を用いない場合に、BCD、DC、EM、およびプロキシマル最小化といった古典的アルゴリズムを統一的かつ拡張的に扱える一般の収束フレームワークを確立することにある。

ABSTRACT

The block coordinate descent (BCD) method is widely used for minimizing a continuous function f of several block variables. At each iteration of this method, a single block of variables is optimized, while the remaining variables are held fixed. To ensure the convergence of the BCD method, the subproblem to be optimized in each iteration needs to be solved exactly to its unique optimal solution. Unfortunately, these requirements are often too restrictive for many practical scenarios. In this paper, we study an alternative inexact BCD approach which updates the variable blocks by successively minimizing a sequence of approximations of f which are either locally tight upper bounds of f or strictly convex local approximations of f. We focus on characterizing the convergence properties for a fairly wide class of such methods, especially for the cases where the objective functions are either non-differentiable or nonconvex. Our results unify and extend the existing convergence results for many classical algorithms such as the BCD method, the difference of convex functions (DC) method, the expectation maximization (EM) algorithm, as well as the alternating proximal minimization algorithm.

研究の動機と目的

• 部分問題を正確に解くことが難しい非滑らかかつ非凸問題において、正確なブロック座標降下法（BCD）の限界を克服すること。
• 正確な部分問題解の代わりに逐次近似を用いる不正確なBCD法の一般の収束フレームワークを構築すること。
• 差分凸（DC）プログラミング、EMアルゴリズム、および交互プロキシマル最小化といった主な古典的アルゴリズムの収束結果を統一・拡張すること。
• サイクル的、ガウス＝サウスウェル、重複する本質的サイクル的といったさまざまな更新ルールに関して、上界戦略および凸近似戦略の両方において収束を保証すること。

提案手法

• 各部分問題が元の目的関数の局所的にタイトな上界を最小化する「逐次上界最小化（SUM）」フレームワークを提案する。
• 各反復で目的関数の厳密に凸な局所近似を最小化する「逐次凸近似（SCA）」戦略を導入する。
• サイクル的、ガウス＝サウスウェル、および重複する本質的サイクル的更新を含む一般のブロック更新ルールにおける収束を分析する。
• 目的関数の連続性および変数集合の閉凸性といった弱い仮定のもとで、静止点への収束を確立する。
• 近似の構造を活用して、リャプノフ型関数と降下性質を用いて収束を証明する。
• 目的関数 $ f(x) $ を上界で抑えたり局所的に凸化するための近似列 $ g(x, x^r) $ を形式化し、目的関数値の十分な減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 正確な部分問題解の代わりに逐次近似を用いる不正確なブロック座標法に対して、統一的収束解析を構築することは可能か？
• RQ2 逐次上界最小化および逐次凸近似法が、非滑らかかつ非凸問題において、どのような条件下で収束するか？
• RQ3 サイクル的、ガウス＝サウスウェル、または重複する本質的サイクル的といった異なるブロック更新ルールは、不正確な設定下での収束にどのように影響するか？
• RQ4 EM、DCプログラミング、およびプロキシマル最小化といった古典的アルゴリズムが、どの程度単一の収束フレームワークに統合可能か？
• RQ5 近似が局所的にタイトまたは凸であれば、部分問題を不正確に解いても収束を保証できるか？

主な発見

• 提案された不正確なブロック逐次最小化フレームワークは、弱い仮定のもとで、非凸的かつ非滑らかな目的関数に対しても静止点へのグローバル収束を保証する。
• 期待値最大化（EM）アルゴリズムおよびそのブロック座標版（BEM）は、提案されたSUMフレームワークの特別な場合であることが示され、同一の条件下で収束が保証される。
• 凸-凸プロシージャー（CCCP）のブロック座標版、すなわちDCプログラミングも、BSUMフレームワークの下で統一され、サイクル的およびガウス＝サウスウェル更新ルールの両方で収束が証明された。
• 収束解析は交互プロキシマル最小化アルゴリズムへも拡張され、プロキシマル近似による不正確な更新でも収束が保証されることを示した。
• 近似が局所的にタイトまたは凸であれば、部分問題の解が不正確であっても、実用的問題への適用範囲が著しく拡大される。
• 理論的結果は、BCD、DC、EM、およびプロキシマル法の既存の収束結果を包含・拡張する十分な一般性を持ち、一元的な分析枠組みを提供する。