[論文レビュー] A Non-convex Approach for Sparse Recovery with Convergence Guarantee

Laming Chen, Yuantao Gu|arXiv (Cornell University)|Jan 1, 2013

Sparse and Compressive Sensing Techniques参考文献 55被引用数 1

ひとこと要約

本稿では、罰則関数の弱凸性を特徴づけることで、非凸最適化フレームワークを提示し、スパースリカバリに対して収束保証を提供する。非凸性が閾値未満の場合、投影勾配法が初期解から収束し、ノイズとステップサイズに線形に比例するリカバリ誤差を達成することを証明する。

ABSTRACT

In the area of sparse recovery, numerous researches hint that non-convex penalties might induce better sparsity than convex ones, but up until now the non-convex algorithms lack convergence guarantee from the initial solution to the global optimum. This paper aims to provide theoretical guarantee for sparse recovery via non-convex optimization. The concept of weak convexity is incorporated into a class of sparsity-inducing penalties to characterize their non-convexity. It is shown that in a neighborhood of the sparse signal (with radius in inverse proportion to the non-convexity), any local optimum can be regarded as a stable solution. It is further proved that if the non-convexity of the penalty function is below a threshold, the initial solution also belongs to this neighborhood. In addition, The idea of projected (sub)gradient method is generalized to solve this non-convex optimization problem. A uniform approximate projection can also be applied in the projection step to make the algorithm computationally tractable for large scale problems. The theoretical convergence analysis of these methods is provided in the noisy scenario. The result reveals that if the non-convexity is below a threshold, these methods would converge from the initial solution, and the recovered solution is with recovery error linear in both the noise term and the step size. Numerical simulations are performed to test the performance of the proposed approach and verify the theoretical analysis.

研究の動機と目的

• 非凸スパースリカバリアルゴリズムにおける収束保証の欠如に対処する。
• 非凸罰則がより良いスパarsityをもたらすが、収束しない可能性があることを理論的に分析する必要がある。
• 局所最適解が安定し、初期解からグローバル収束が達成可能な条件を確立する。
• 一様近似射影を用いて大規模問題に適した計算的に実行可能なアルゴリズムを開発する。
• ノイズ状況下での理論的リカバリ誤差バウンドを提供し、誤差をノイズレベルとステップサイズに関連付ける。

提案手法

• スパース性誘導罰則の非凸度を測る指標として弱凸性を導入する。
• 真のスパース信号の周囲に、局所最適解が安定する近傍を定義し、その半径は非凸度に逆比例する。
• 非凸最適化問題を解くために一般化された投影（部分）勾配法を適用する。
• 大規模問題における計算効率を維持するために、更新ステップで一様近似射影を用いる。
• ノイズ状況下での理論的収束を導出し、非凸度が閾値未満の場合に収束することを示す。
• ノイズの大きさとアルゴリズムのステップサイズの両方に線形に比例するリカバリ誤差バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸スパースリカバリアルゴリズムが初期解から収束するための罰則関数の条件は何か？
• RQ2 弱凸性はスパースリカバリにおける局所最適解の安定性と収束にどのように影響するか？
• RQ3 投影勾配法を非凸問題に一般化しても、収束性と計算の実行可能性を保てるか？
• RQ4 提案フレームワークにおいて、非凸度のレベル、ノイズ、リカバリ誤差の関係は何か？
• RQ5 一様近似射影の使用は、大規模設定における収束性と解の精度にどのように影響するか？

主な発見

• 罰則関数の非凸度が一定の閾値未満であれば、初期解が収束が保証される近傍内に存在する。
• この近傍内における局所最適解は安定的であり、意味のあるスパースリカバリ解に対応する。
• 非凸度が閾値未満の場合、投影勾配法は初期解から収束する。
• 理論的収束条件下では、リカバリ誤差はノイズレベルとアルゴリズムのステップサイズの両方に線形に比例する。
• 数値シミュレーションにより理論的予測が確認され、ノイズ環境下でも安定的かつ正確なリカバリが実現している。
• 一様近似射影の使用により、大規模問題においても計算の実行可能性を損なわず、収束保証を維持できる。