[論文レビュー] Analysis and algorithms for some compressed sensing models based on L1/L2 minimization

Liaoyuan Zeng, Peiran Yu+1 more|arXiv (Cornell University)|Jul 25, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 7

ひとこと要約

本稿は、ノイズ下におけるロバストな圧縮センシングのための新しいL1/L2最小化フレームワークを提案する。非凸的L1/L2モデルをノイズ測定値に対応させるために、モービングボールス近似を用いて拡張し、Kurdyka-Łojasiewicz（KL）条件のもとで線形収束を確立した。数値実験では、ガウス分布およびコーシー分布ノイズ下で、従来のL1最小化法に比べて優れた復元精度を示した。

ABSTRACT

Recently, in a series of papers [32,38,39,41], the ratio of $\ell_1$ and $\ell_2$ norms was proposed as a sparsity inducing function for noiseless compressed sensing. In this paper, we further study properties of such model in the noiseless setting, and propose an algorithm for minimizing $\ell_1$/$\ell_2$ subject to noise in the measurements. Specifically, we show that the extended objective function (the sum of the objective and the indicator function of the constraint set) of the model in [32] satisfies the Kurdyka-Lojasiewicz (KL) property with exponent 1/2; this allows us to establish linear convergence of the algorithm proposed in [39, Eq. 11] under mild assumptions. We next extend the $\ell_1$/$\ell_2$ model to handle compressed sensing problems with noise. We establish the solution existence for some of these models under the spherical section property [37,44], and extend the algorithm in [39, Eq. 11] by incorporating moving-balls-approximation techniques [4] for solving these problems. We prove the subsequential convergence of our algorithm under mild conditions, and establish global convergence of the whole sequence generated by our algorithm by imposing additional KL and differentiability assumptions on a specially constructed potential function. Finally, we perform numerical experiments on robust compressed sensing and basis pursuit denoising with residual error measured by $ \ell_2 $ norm or Lorentzian norm via solving the corresponding $\ell_1$/$\ell_2$ models by our algorithm. Our numerical simulations show that our algorithm is able to recover the original sparse vectors with reasonable accuracy.

研究の動機と目的

• ノイズなしの非凸的L1/L2最小化モデルを、ノイズを含む圧縮センシング設定に拡張すること。
• KL性質および微分可能性といった弱い仮定のもとで、提案されたアルゴリズムの収束保証を確立すること。
• 不等式制約付きL1/L2最小化を解くために、モービングボールス近似を用いたロバストなアルゴリズムを開発すること。
• さまざまなノイズモデル下で、回復誤差および残差誤差の観点から、提案されたL1/L2モデルと標準的なL1最小化法の性能を比較すること。
• ガウス分布およびコーシー分布ノイズのシナリオにおいて、広範な数値実験を通じて理論的発見を検証すること。

提案手法

• 滑らかで凸でない関数P1と凸関数P2を用いて、一般の損失関数q(x) = P1(x) - P2(x)を有する制約付きL1/L2最小化問題を定式化する。
• ノイズを含む圧縮センシングモデルにおける非凸的不等式制約を処理するために、モービングボールス近似技術を適用する。
• 弱い仮定のもとで、アルゴリズムの部分列収束を確立し、構築されたポテンシャル関数に対する追加のKL性質および微分可能性条件のもとで、全列収束を保証する。
• 拡張された目的関数が、指数1/2のKurdyka-Łojasiewicz（KL）性質を満たすことを証明し、これによりアルゴリズムの線形収束が可能になることを示す。
• スパース性に基づくSPGL1から得られる実行可能初期点を用いてアルゴリズムを初期化することで、悪条件な状況下でのロバスト性を向上させる。
• 反復処理中に目的関数の十分な減少を保証するために、ラインサーチ戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 L1/L2最小化モデルは、不等式制約を伴うノイズを含む圧縮センシングに拡張可能か？
• RQ2 Kurdyka-Łojasiewicz（KL）性質を指数1/2で満たす条件下で、提案されたアルゴリズムは線形収束を達成するか？
• RQ3 ガウス分布およびコーシー分布ノイズ下で、回復誤差および残差誤差の観点から、L1/L2モデルは標準的L1最小化法に比べてどのように性能を発揮するか？
• RQ4 悪条件性および不実行な初期点が、アルゴリズムの収束性および精度に与える影響は何か？
• RQ5 モービングボールス近似技術は、圧縮センシングにおける非凸的・非滑らか最適化を効果的に処理できるか？

主な発見

• L1/L2モデルの拡張された目的関数は、指数1/2のKL性質を満たしており、弱い仮定のもとでアルゴリズムの線形収束が保証される。
• 特別に構築されたポテンシャル関数に対して追加のKL性質および微分可能性仮定を課すことで、提案されたアルゴリズムは全列収束を達成する。
• ガウス分布ノイズのシナリオでは、L1/L2モデルがL1最小化法に比べて回復誤差を最大90％まで低減し、特に悪条件な状況で顕著な改善を示した。
• コーシー分布ノイズの場合、L1/L2モデルは残差誤差において顕著な改善を示し、大多数のテストケースで平均的な残差を90％以上削減した。
• SPGL1から得られる初期点が著しく不実行な場合、L1/L2アルゴリズムの性能が劣化する傾向にあり、初期化の質に敏感であることが示された。
• 数値結果から、L1/L2モデルは8つのテスト設定のうち7つでL1最小化法を上回ることを確認した。特に、高ダイナミックレンジおよび重尾ノイズ環境下で顕著な優位性を示した。