[論文レビュー] On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems

Yangyang Kang, Zhihua Zhang+1 more|arXiv (Cornell University)|Apr 29, 2015

Sparse and Compressive Sensing Techniques参考文献 2被引用数 7

ひとこと要約

本稿は、非凸最適化における主要化最小化（MM）アルゴリズムのグローバル収束を、Kurdyka-Łojasiewicz（KŁ）不等式を活用することで確立する。非凸機械学習問題において一般的に見られるKŁ性質を満たす目的関数の場合、MM反復は臨界点に収束することを証明し、凸設定に限らない収束保証を、CCCP や反復的重み付け ℓ₁ 最小化といった一般的な手法にまで拡張する。

ABSTRACT

In this paper, we study the global convergence of majorization minimization (MM) algorithms for solving nonconvex regularized optimization problems. MM algorithms have received great attention in machine learning. However, when applied to nonconvex optimization problems, the convergence of MM algorithms is a challenging issue. We introduce theory of the Kurdyka- Lojasiewicz inequality to address this issue. In particular, we show that many nonconvex problems enjoy the Kurdyka- Lojasiewicz property and establish the global convergence result of the corresponding MM procedure. We also extend our result to a well known method that called CCCP (concave-convex procedure).

研究の動機と目的

• 非凸最適化における主要化最小化（MM）アルゴリズムのグローバル収束を、従来の凸性仮定が成立しない状況で取り扱う。
• 従来の研究よりも弱い仮定の下で収束を確立し、特に孤立した停留点を仮定する必要を回避する。
• 機械学習における多くの非凸正則化問題が、Kurdyka-Łojasiewicz（KŁ）不等式を満たすことを示す。
• CCCP や反復的重み付け ℓ₁ 最小化、局所線形近似（LLA）といった既存手法の収束結果を統一・一般化する。
• 非滑らかで非凸な設定におけるMM手順の収束を分析する理論的枠組みを提供する。

提案手法

• 非凸最適化におけるMMアルゴリズムの収束を分析するために、Kurdyka-Łojasiewicz（KŁ）不等式を適用し、凸性や孤立した停留点に依存するのを回避する。
• 目的関数を上から支配するサロゲート関数を導入する一般的なMMフレームワークを提示し、反復的にパラメータを更新する最小化ステップを実行する。
• KŁ性質を用いて、目的関数が非滑らかまたは非凸であっても、MMによって生成される反復列が臨界点に収束することを示す。
• 降下性質に基づく収束を確立する：各ステップで目的関数値が減少し、反復間の差分が可 summable であるため、コーシー収束が成立する。
• ℓ_q（q∈(0,1)）、SCAD、MCP、キャップド-ℓ₁ といった一般的な非凸ペナルティ関数がKŁ不等式を満たすことを示し、収束解析を可能にする。
• CCCP や反復的重み付け ℓ₁ 最小化といった特定のアルゴリズムへの応用を拡張し、それらが提案されたMMフレームワークの特殊な場合であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化問題において、MMアルゴリズムがどのような条件下でグローバル収束するか？
• RQ2 孤立した停留点を仮定しないで、Kurdyka-Łojasiewicz不等式を用いてMMアルゴリズムのグローバル収束を確立できるか？
• RQ3 SCAD や MCP、反復的重み付け ℓ₁ 最小化といった広く使われる非凸正則化手法は、提案されたMM収束枠組みに含まれるか？
• RQ4 非滑らかで非凸な設定におけるMM反復の収束を保証するためのKŁ性質の役割は何か？
• RQ5 提案された枠組みは、CCP や LLA といった既存手法の収束結果をどのように統一・一般化するか？

主な発見

• 目的関数がKurdyka-Łojasiewicz（KŁ）不等式を満たす場合、MMアルゴリズムはグローバルに臨界点に収束する。これは、広範な非凸問題のクラスに成立する。
• KŁ性質は、ℓ_q（q∈(0,1)）、SCAD、MCP、キャップド-ℓ₁ といった標準的な非凸ペナルティ関数すべてで満たされるため、スパース推定問題における収束保証が可能になる。
• 収束証明では、すべての停留点が孤立しているという仮定を必要とせず、従来の研究と比較して顕著な緩和である。
• MMアルゴリズムによって生成される反復列はコーシー列であり、したがって収束する。連続する反復間の差分は可 summable であり、臨界点への収束を示唆する。
• グローバル収束結果は、CCCP や反復的重み付け ℓ₁ 最小化、局所線形近似（LLA）といったよく知られた手法にも拡張可能であり、それらが提案フレームワークの特殊な場合であることが示された。
• 目的関数値は単調に減少し、有限の極限に収束する。また、反復点における目的関数の勾配はゼロに近づくため、臨界点への収束が確認される。