[論文レビュー] Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming

Zhaosong Lu|arXiv (Cornell University)|Oct 31, 2012

Sparse and Compressive Sensing Techniques参考文献 10被引用数 15

ひとこと要約

本稿では、二次ペナルティ緩和と動的ペナルティパラメータ更新を活用して、$l_0$-正則化された凸錐プログラミング問題を解くための反復的ハードスレッショーディング（IHT）手法を提案する。収束性を局所最適解に対して確立し、$\epsilon$-近似解を求めるための反復回数の複雑性バウンドを提供する。IHTを錐制約下でのスパース最適化に拡張する。

ABSTRACT

In this paper we consider $l_0$ regularized convex cone programming problems. In particular, we first propose an iterative hard thresholding (IHT) method and its variant for solving $l_0$ regularized box constrained convex programming. We show that the sequence generated by these methods converges to a local minimizer. Also, we establish the iteration complexity of the IHT method for finding an $ε$-local-optimal solution. We then propose a method for solving $l_0$ regularized convex cone programming by applying the IHT method to its quadratic penalty relaxation and establish its iteration complexity for finding an $ε$-approximate local minimizer. Finally, we propose a variant of this method in which the associated penalty parameter is dynamically updated, and show that every accumulation point is a local minimizer of the problem.

研究の動機と目的

• $l_0$-正則化された凸錐プログラミングのための効率的な反復的ハードスレッショーディング手法の開発を目的とする。
• ボックス制約付き$l_0$-正則化された凸プログラムに対して、IHT手法の収束性を局所最適解に対して確立すること。
• $l_0$-正則化設定下で$\epsilon$-局所最適解を求める反復回数の複雑性を分析すること。
• 二次ペナルティ緩和と動的ペナルティパラメータ更新を用いて、一般の凸錐プログラムにIHTを拡張すること。
• 動的ペナルティパラメータ更新のもとで、反復列のすべての蓄積点が元の$l_0$-正則化問題の局所最適解であることを証明すること。

提案手法

• 硬いスレッショーディングを用いてスパarsityを維持する、$l_0$-正則化されたボックス制約付き凸プログラミングのためのIHT手法およびその変種を提案する。
• 錐制約を扱うために、$l_0$-正則化された凸錐プログラムの二次ペナルティ緩和にIHT手法を適用する。
• Lipschitz連続勾配と正規凸錐条件を用いた射影勾配フレームワークを用いて収束性を分析する。
• 収束性の向上と局所最適解への蓄積を保証するために、動的ペナルティパラメータ更新を導入する。
• 最適性と収束性を特徴付けるために、正規凸錐条件と双対凸錐への距離を用いる。
• 射影勾配の降下性とペナルティ緩和の性質を用いて、反復回数の複雑性バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 IHT手法は、錐制約を伴う$l_0$-正則化された凸錐プログラミングに効果的に拡張可能か？
• RQ2 ボックス制約付き$l_0$-正則化された凸プログラムにおいて、$\epsilon$-局所最適解を求めるIHTの反復回数の複雑性はいかほどか？
• RQ3 二次ペナルティ緩和における動的ペナルティパラメータ更新は、局所最適解への収束を保証するか？
• RQ4 変化するペナルティパラメータ下で、IHT反復列の収束特性は局所最適解に向かうか？
• RQ5 Lipschitz勾配を持つ非凸$l_0$-正則化問題に、IHTフレームワークを適応可能か？

主な発見

• $l_0$-正則化されたボックス制約付き凸プログラミングに対するIHT手法によって生成される列は、局所最適解に収束する。
• IHT手法は、ボックス制約付き問題において$O(1/\epsilon^2)$反復以内に$\epsilon$-局所最適解に到達する。
• 凸錐プログラムの二次ペナルティ緩和に対して、同手法は$O(1/\epsilon^2)$反復以内に$\epsilon$-近似局所最適解を求める。
• 動的ペナルティパラメータ更新を用いることで、反復列のすべての蓄積点が元の$l_0$-正則化問題の局所最適解であることが保証される。
• ペナルティパラメータの更新に伴い、双対実行可能ギャップ$d_{{\cal K}^*}(Ax-b)$が漸近的に消えることが保証される。
• 収束解析は、正規凸錐条件と有界な部分勾配を持つ射影勾配降下に依存する。