[論文レビュー] Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction

Lei Yang, Ting Kei Pong+1 more|arXiv (Cornell University)|Jun 23, 2015

Sparse and Compressive Sensing Techniques参考文献 35被引用数 10

ひとこと要約

本稿は、背景/前景抽出に由来する非凸・非滑らか・非リプシッツな最適化問題を解くために、一般化された双対ステップサイズを有する交替方向乗数法（ADMM）を提案する。ペナルティパラメータの閾値と有界性の下で、静的点への収束を確立し、潜在関数がKurdyka-Łojasiewicz性質を満たす場合には全列の収束が保証される。実動画データにおいてPALMより優れた効率性を示している。

ABSTRACT

In this paper, we study a general optimization model, which covers a large class of existing models for many applications in imaging sciences. To solve the resulting possibly nonconvex, nonsmooth and non-Lipschitz optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence if, in addition, this special potential function is a Kurdyka-Łojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in [5] on the background/foreground extraction problem with real data. The numerical results show that our ADMM with a nontrivial dual step-size is efficient.

研究の動機と目的

• 画像科学分野における一般化された非凸的・非滑らか最適化問題、特に動画からの背景/前景抽出を扱うことを目的とする。
• 通常非凸的・非滑らか・非リプシッツな問題を解くために、一般化された双対ステップサイズを有するADMMの変種を構築・分析することを目的とする。
• ペナルティパラメータの閾値と列の有界性といった弱い仮定の下で、クラスターポイントが静的解であることを保証する収束保証を確立することを目的とする。
• 構築された潜在関数のKurdyka-Łojasiewicz性質を満たす条件を提示し、全列の全収束を保証することを目的とする。
• 有界性を保証する実用的な初期化戦略を提示し、実監視動画データ上での実験的検証を実施することを目的とする。

提案手法

• 非凸最適化問題の三ブロック再定式化に、一般化された双対ステップサイズ τ ∈ (0, (1+√5)/2) を有するADMMを適応する。
• 収束解析に有用な新たな潜在関数を構築し、クラスターポイントが静的解であることを証明する上で中心的な役割を果たす。
• ペナルティパラメータに計算可能な閾値を課し、その値を上回りかつ列が有界である場合、任意のクラスターポイントが非凸問題の静的点であることを保証する。
• ADMM反復列の有界性を保証するシンプルな初期化戦略を導入し、収束解析に不可欠な条件を満たす。
• ADMMの適用を可能とするために、元問題のペナルティベース再定式化を採用し、線形写像 A, B, C を用いてデータ適合性と構造をモデル化する。
• 潜在関数に対するKurdyka-Łojasiewicz条件を用いて、全列の全収束への収束を強化する。

実験結果

リサーチクエスチョン

• RQ1 一般化された双対ステップサイズ τ を有するADMMは、非凸的・非滑らか・非リプシッツな最適化問題に対して、どのような条件下で静的点に収束するか？
• RQ2 ペナルティパラメータが一定の閾値を超えており、反復列が有界である場合、ADMMの収束を保証できるか？
• RQ3 全列の全収束を保証する条件は何か？（クラスターポイントの収束にとどまらず）
• RQ4 双対ステップサイズ τ の選択が、非凸設定下でのADMMの性能および収束に与える影響は何か？
• RQ5 提案されたADMMは、実動画データからの背景/前景抽出といった実用的応用において、PALMなどの既存手法を上回る性能を示せるか？

主な発見

• 任意の双対ステップサイズ τ < (1+√5)/2 に対して、ペナルティパラメータが計算可能な閾値を超えており、ADMM反復列が有界である限り、すべてのクラスターポイントが非凸問題の静的点である。
• τ = 0.8 を用いた提案ADMMは、実監視動画データにおいて、CPU時間は速く、F-measure性能はPALMと同等である。
• 本手法は、ブリッジ、分数、ロジスティック、最小最大凹み正則化子といった多様な非凸正則化子に対して、背景/前景抽出タスクにおいても頑健であることが示された。
• 数値結果から、τ = 0.8 を用いたADMMは、ノイズ多めやぼやけた動画データにおいて、計算効率がPALMを常に上回り、F-measureスコアは競争力を持つことが明らかになった。
• 潜在関数がKurdyka-Łojasiewicz性質を満たす場合、全列の全収束が保証され、クラスターポイント収束を超える収束保証が拡張された。
• 提案された初期化戦略により、列の有界性が保証され、理論的収束結果の成立に不可欠な前提条件を満たすことが確認された。