[論文レビュー] Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm

Jinshan Zeng, Shao-Bo Lin+1 more|arXiv (Cornell University)|Feb 24, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、非凸正則化における不連続なしきい値関数を有する罰則（例：$0<q<1$ の $l_q$-ノルム）を用いたスパース正則化のための反復ジャンピングスレッショーティング（IJT）アルゴリズムを提案する。有限なサポートと符号収束を確立し、制限付きカーディカ＝ロジャシュエヴィッチ（rKL）性質および追加の滑らかさ条件の下で、局所最小値への強い収束と漸近的線形レートを証明する。

ABSTRACT

In recent studies on sparse modeling, non-convex penalties have received considerable attentions due to their superiorities on sparsity-inducing over the convex counterparts. Compared with the convex optimization approaches, however, the non-convex approaches have more challenging convergence analysis. In this paper, we study the convergence of a non-convex iterative thresholding algorithm for solving sparse recovery problems with a certain class of non-convex penalties, whose corresponding thresholding functions are discontinuous with jump discontinuities. Therefore, we call the algorithm the iterative jumping thresholding (IJT) algorithm. The finite support and sign convergence of IJT algorithm is firstly verified via taking advantage of such jump discontinuity. Together with the assumption of the introduced restricted Kurdyka-Łojasiewicz (rKL) property, then the strong convergence of IJT algorithm can be proved.Furthermore, we can show that IJT algorithm converges to a local minimizer at an asymptotically linear rate under some additional conditions. Moreover, we derive a posteriori computable error estimate, which can be used to design practical terminal rules for the algorithm. It should be pointed out that the $l_q$ quasi-norm ($0

研究の動機と目的

• 非凸スパース正則化における収束解析の課題に取り組むこと、特に不連続なしきい値関数を有する罰則に対して。
• しきい値関数にジャンプ不連続性を有する反復しきい値関数アルゴリズムについて、有限サポートと符号収束を確立すること。
• 制限付きカーディカ＝ロジャシュエヴィッチ（rKL）性質の下で、IJTアルゴリズムの局所最小値への強い収束を証明すること。
• 追加の滑らかさおよび濃縮条件の下で、漸近的線形収束レートを導出すること。
• 実用的な停止基準に適した、事後的に計算可能な誤差推定値を提供すること。

提案手法

• 非凸罰則、特に不連続なしきい値関数を有するスパース回復問題を解くための反復ジャンピングスレッショーティング（IJT）アルゴリズムを提案する。
• しきい値関数のジャンプ不連続性を活用して、反復の有限サポートと符号収束を確立する。
• 制限付きカーディカ＝ロジャシュエヴィッチ（rKL）性質を用いて、IJT反復が定常点に強い収束することを証明する。
• テイラー展開と行列解析を用いて、極限点の近傍における線形収束レートを導出する。
• 収束レートと三角不等式に基づく事後的誤差推定値を導出し、実用的な停止基準に用いる。
• $l_q$-ノルム（$0<q<1$）を主要なクラスとして分析し、濃縮条件の下で線形収束を示す。

実験結果

リサーチクエスチョン

• RQ1 IJTアルゴリズムは、不連続なしきい値関数を有する非凸罰則に対して、有限サポートと符号収束を達成できるか？
• RQ2 IJTアルゴリズムが局所最小値に強い収束するための条件は何か？
• RQ3 IJTアルゴリズムの漸近的収束レートは何か？また、どのような仮定の下で線形となるか？
• RQ4 実用的な停止のための、計算可能な誤差推定値をどのように導出できるか？
• RQ5 適切な濃縮条件の下で、$l_q$-ノルム正則化（$0<q<1$）に対してIJTアルゴリズムは線形収束を維持するか？

主な発見

• しきい値関数のジャンプ不連続性のおかげで、IJTアルゴリズムは有限サポートと符号収束を達成する。
• 制限付きカーディカ＝ロジャシュエヴィッチ（rKL）性質の下で、IJTアルゴリズムは局所最小値に強い収束する。
• 追加の滑らかさおよび濃縮条件の下で、IJTアルゴリズムは局所最小値に漸近的線形レートで収束する。
• 濃縮条件を満たす場合、$l_q$-ノルム正則化（$0<q<1$）に対してIJTアルゴリズムは線形収束を達成する。
• 事後的に計算可能な誤差推定値が導出され、信頼性の高い停止基準を伴う実用的実装が可能になる。
• シミュレーションにより理論的収束行動が確認され、IRLSおよびIRL1と比較して、$q=1/2$ および $q=2/3$ の場合に時間効率の高さが示された。