[論文レビュー] Alternating Direction Method of Multipliers for Nonconvex Background/Foreground Extraction

Lei Yang, Ting Kei Pong+1 more|arXiv (Cornell University)|Jun 23, 2015

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、監視映像における非凸的バックグラウンド/フォアグラウンド抽出のためのADMMベースの手法を提案し、核ノルム制約を必要としない柔軟なスパarsity誘導正則化（例：0 < p < 1 の ℓ_p quasi-norm）を用いる。双対ステップサイズが黄金比未満で、反復列が有界である場合、静的点への収束を確立する。潜在関数がKurdyka–Łojasiewicz性質を満たすと、全列のグローバル収束が保証される。実データ上での速度面でPALMを上回る性能を示す。

ABSTRACT

In this paper, we study a general optimization model for extracting background and foreground from a surveillance video. This model covers a large class of existing models as special cases. In particular, it can be nuclear-norm-free, and can incorporate different possibly nonconvex sparsity inducing regularization functions for extracting the foreground, such as the $\ell_p$ quasi-norm for $0<p<1$. To solve the resulting possibly nonconvex optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence generated if, in addition, this special potential function is a Kurdyka-{\L}ojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence generated. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in \cite{bst2014} on real data. The numerical results show that our ADMM with a dual step-size smaller than 1 performs better in the sense that it uses less time to solve all test problems.

研究の動機と目的

• 既存のモデルを一般化する、監視映像におけるバックグラウンド/フォアグラウンド抽出のための柔軟な最適化フレームワークの開発。
• 核ノルム正則化を必要としない、非凸的スパarsity誘導正則化（例：0 < p < 1 の ℓ_p quasi-norm）の取り扱い。
• 非凸的・三変数設定における一般化された双対ステップサイズを用いたADMMの収束保証の確立。
• ADMM反復列の有界性を保証する実用的な初期化戦略の提供。
• 実世界の映像データ上での数値的実験を通じて、PALMに比べて優れた計算効率を実証すること。

提案手法

• バックグラウンド/フォアグラウンド抽出問題を、バックグラウンド、フォアグラウンド、および補助変数を含む三変数最適化問題に再定式化する。
• 一般化された双対ステップサイズを用いた交替方向乗数法（ADMM）を、再定式化された問題を解くために適用する。
• 非凸性下での収束解析に適した、ADMMのダイナミクスに特化した新たな潜在関数を構築する。
• 双対ステップサイズが黄金比未満であり、罰則パラメータが計算可能な閾値を超える場合、静的点への収束を確立する。
• ADMM列の有界性を保証するシンプルな初期化戦略を導入する。
• 構築した潜在関数のKurdyka–Łojasiewicz性質を活用して、追加条件のもとで全列のグローバル収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 一般化された双対ステップサイズを用いたADMMは、柔軟なスパarsity正則化を伴う非凸的バックグラウンド/フォアグラウンド抽出に対して、静的点に収束するか？
• RQ2 双対ステップサイズおよび罰則パラメータにどのような条件を課すと、ADMM反復列が静的解に収束するか？
• RQ3 提案されたADMMは、実映像データ上での計算効率において、PALMなどの既存手法を上回るか？
• RQ4 非凸問題において、ADMM列の有界性を実用的にどのように保証できるか？
• RQ5 どのような条件下で、ADMMの全列が局所的収束点だけでなく、グローバルに収束するか？

主な発見

• 提案されたADMMは、双対ステップサイズが黄金比未満であり、罰則パラメータが計算可能な閾値を超える場合、かつ反復列が有界である限り、非凸問題の静的点に収束する。
• 構築された潜在関数がKurdyka–Łojasiewicz性質を満たすと、全列のグローバル収束が達成される。
• ADMM列の有界性を保証するシンプルな初期化戦略を提案し、収束保証を可能にする。
• 数値実験の結果、双対ステップサイズが1未満のADMMは、全テスト済みの実映像問題においてPALMよりも高速であることが示された。
• 核ノルムを必要とせず、0 < p < 1 の ℓ_p quasi-norm などの非凸的スパarsity正則化をサポートするため、フォアグラウンドのモデリングがより柔軟に可能になる。
• 収束解析は、核ノルムを含まないモデルを含む一般クラスのモデルに適用可能であり、バックグラウンド/フォアグラウンド抽出への応用が広範に及ぶ。