[論文レビュー] PARNES: A rapidly convergent algorithm for accurate recovery of sparse and approximately sparse signals

Ming Gu, Lek‐Heng Lim+1 more|arXiv (Cornell University)|Nov 3, 2009

Sparse and Compressive Sensing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、Nesterovの加速近接勾配法に動的近接中心更新を組み合わせることで、スパースおよびほぼスパースな信号の高速かつ高精度な復元を実現する新しいアルゴリズムPARNESを提案する。本手法は、制限等長性性質とスパース性の仮定の下で局所的線形収束を達成し、パレート根探索と統合することで、基底 pursuit デノイジング問題において最先端の性能を達成または上回る。

ABSTRACT

In this article, we propose an algorithm, NESTA-LASSO, for the LASSO problem, i.e., an underdetermined linear least-squares problem with a 1-norm constraint on the solution. We prove under the assumption of the restricted isometry property (RIP) and a sparsity condition on the solution, that NESTA-LASSO is guaranteed to be almost always locally linearly convergent. As in the case of the algorithm NESTA proposed by Becker, Bobin, and Candes, we rely on Nesterov's accelerated proximal gradient method, which takes O(e^{-1/2}) iterations to come within e > 0 of the optimal value. We introduce a modification to Nesterov's method that regularly updates the prox-center in a provably optimal manner, and the aforementioned linear convergence is in part due to this modification. In the second part of this article, we attempt to solve the basis pursuit denoising BPDN problem (i.e., approximating the minimum 1-norm solution to an underdetermined least squares problem) by using NESTA-LASSO in conjunction with the Pareto root-finding method employed by van den Berg and Friedlander in their SPGL1 solver. The resulting algorithm is called PARNES. We provide numerical evidence to show that it is comparable to currently available solvers.

研究の動機と目的

• 不定線形方程式系からのスパースおよびほぼスパースな信号の効率的かつ正確な復元という課題に対処する。
• NESTA や SPGL1 といった既存のソルバーよりも、スパース復元における収束速度と精度を向上させる。
• 標準的な仮定の下で、局所的線形収束を保証するlasso問題の証明可能に収束するアルゴリズムを開発する。
• 強化されたlassoソルバをパレート根探索フレームワークに統合し、基底 pursuit デノイジング（BPDN）問題を効果的に解く。

提案手法

• 固定された近接中心ではなく、K反復ごとに動的に更新する近接中心を用いるNesterovの加速近接勾配法の変種であるnesta-lassoを提案する。
• 制限等長性性質（RIP）の2s次およびsスパース解の下で、nesta-lassoがほとんど常に局所的線形収束を達成することを証明する。
• 収束速度と安定性を保証するための最適なK値を導出する。
• SPGL1で用いられるパレート根探索法に、nesta-lassoを統合して、BPDN問題を解くPARNESアルゴリズムを構築する。
• アルゴリズム内でLipschitz定数Lと許容誤差ηを固定し、簡素さと頑健性を高めるために、適応的ラインサーチを避ける。
• 双対性と凸緩和を活用して、ノイズ制約下でのスパース復元に等価なl1最小化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 Nesterov法における動的近接中心更新は、スパース信号復元における収束速度と精度を顕著に向上させるか？
• RQ2 変更されたNesterov法（nasta-lasso）が、どのような条件下でスパース解に対して局所的線形収束を達成するか？
• RQ3 PARNESの性能は、SPGL1、FPC、GPSRといった最先端のソルバーよりも、スパースおよびほぼスパースな信号の復元において優れているか？
• RQ4 加速近接勾配法とパレート根探索の組み合わせにより、頑健かつ効率的なBPDNソルバが得られるか？
• RQ5 収束速度と安定性のバランスを最適化するための、近接中心更新の最適な頻度（K）は何か？

主な発見

• PARNESは、SPGL1 や FPC-AS といった最先端のソルバーよりも同等の性能を達成し、複数のノイズレベルにおいて一貫して少ない反復回数を示した。
• 100 dB SNRの信号では、PARNESは平均562反復で収束したのに対し、NESTAは15,227反復、FISTAは12,462反復を要した。
• ガウスノイズ（分散1）を伴うほぼスパースな信号の実験では、PARNESは平均1,038反復で収束したが、SPGL1は1,115、FPC-ASは159反復であった。
• 複数回の実行においても、反復回数の分散が低く、さまざまなノイズレベルでも一貫した性能を示した。
• nesta-lassoにおける動的近接中心更新機構により、固定中心バージョンよりも証明可能な速い収束が達成され、特にRIP条件下で顕著であった。
• 固定Lとηを用いてもPARNESは優れた性能を発揮したため、高精度・高速性を達成するには適応的ラインサーチが必須ではないことが示された。