[論文レビュー] Alternating minimization and projection methods for nonconvex problems

Hédy Attouch, Jérôme Bolte+2 more|arXiv (Cornell University)|Jan 11, 2008

Sparse and Compressive Sensing Techniques参考文献 19被引用数 6

ひとこと要約

本稿では、f(x) + Q(x,y) + g(y) の形をした非凸最適化問題に対する交互最小化アルゴリズムを提案し、分析する。ここで f および g は下方連続であり、Q は滑らかである。弱い条件下でも臨界点への収束を確立し、理論的保証を伴って非凸設定へのプロキシマル法の拡張を実現する。

ABSTRACT

Abstract We study the convergence properties of alternating proximal minimization algorithms for (nonconvex) functions of the following type: L(x,y) = f(x) + Q(x,y) + g(y) where f: R n → R∪{+∞} and g: R m → R∪{+∞} are proper lower semicontinuous functions and Q: R n ×R m → R is a smooth C 1 (finite valued) function which couples the variables x and y. The algorithm is defined by: (x0, y0) ∈ R n × R m given, (xk, yk) → (xk+1, yk) → (xk+1, yk+1)

研究の動機と目的

• 結合変数を含む非凸最適化問題に対する交互プロキシマル最小化アルゴリズムの開発と分析。
• f, g, Q に対する弱い仮定のもとで、反復点および目的関数値の収束を確立する。
• 滑らかな結合項を伴う非凸関数へのプロキシマル法の拡張を、収束保証を伴って実現する。
• 機械学習および信号処理に現れる非凸問題のクラスに対して理論的収束保証を提供する。

提案手法

• アルゴリズムは、y を固定したもとで L(x,y) を x に関して最小化し、次に x を固定したもとで y に関して最小化するという交互の手続きを繰り返す。
• f(x) および g(y) に対してプロキシマルに似た更新を用い、各ステップで滑らかな結合項 Q(x,y) を組み込む。
• 2段階の反復として定式化される：(x^k, y^k) → (x^{k+1}, y^k) → (x^{k+1}, y^{k+1})
• 収束解析には、Kurdyka–Łojasiewicz (KL) 不等式と f, g の下方連続性を用いる。
• Q の滑らかさにより勾配が明確に定義され、降下行動の解析が容易になる。
• f, g, Q に対する標準的仮定のもとで、アルゴリズムが生成する列に対して理論的収束が確立される。

実験結果

リサーチクエスチョン

• RQ1 形式 L(x,y) = f(x) + Q(x,y) + g(y) の非凸問題に対して、交互最小化アルゴリズムは臨界点に収束するか？
• RQ2 f, g, Q にどのような条件を課すと、反復点および目的関数値の収束が保証されるか？
• RQ3 滑らかな結合項を伴う非凸問題へ、プロキシマル法を収束保証を失わず拡張可能か？
• RQ4 Kurdyka–Łojasiewicz 不等式は、この非凸設定における収束解析をどのように支援するか？
• RQ5 アルゴリズムが生成する反復点に沿った目的関数値の列の挙動はいかなるものか？

主な発見

• f, g, Q に対する弱い仮定のもとで、アルゴリズムは非凸関数 L(x,y) の臨界点に収束する。
• 目的関数値の列 {L(x^k, y^k)} は非増加であり、有限の極限に収束する。
• Kurdyka–Łojasiewicz 不等式が成り立つ限り、反復点 (x^k, y^k) は L の臨界点に収束する。
• f や g の凸性を仮定せず、下方連続性と適切さ（properness）のみを要件としている。
• Q の滑らかさにより、勾配に基づく更新が明確に定義され、降下行動に寄与する。
• 解析は、機械学習および信号処理に現れる広範な非凸問題クラスに適用可能である。