[論文レビュー] A Second-Order Method for Compressed Sensing Problems with Coherent and Redundant Dictionaries

John Dassios, Kimon Fountoulakis+1 more|arXiv (Cornell University)|May 16, 2014

Sparse and Compressive Sensing Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、相関性が高く重複する辞書を用いた圧縮センシング問題を解くために、2次最適化と効率的な前処理を活用した、原双対ニュートン共役勾配法（pdNCG）を提案する。グローバル収束と超線形の局所収束を達成し、画像再構成タスクにおいてTFOCSなどの1次最適化手法よりも最大3.7倍速く、同等の再構成品質を維持する。

ABSTRACT

In this paper we are interested in the solution of Compressed Sensing (CS) problems where the signals to be recovered are sparse in coherent and redundant dictionaries. CS problems of this type are convex with non-smooth and non-separable regularization term, therefore a specialized solver is required. We propose a primal-dual Newton Conjugate Gradients (pdNCG) method. We prove global convergence and fast local rate of convergence for pdNCG. Moreover, well-known properties of CS problems are exploited for the development of provably effective preconditioning techniques that speed-up the approximate solution of linear systems which arise. Numerical results are presented on CS problems which demonstrate the performance of pdNCG compared to a state-of-the-art existing solver.

研究の動機と目的

• 相関性が高く重複する辞書を含む圧縮センシング問題を扱う際、滑らかでない、分離不可能な正則化項が生じるという課題に対処する。
• このような問題の悪条件性と複雑さを効率的に扱える2次最適化法を開発する。
• ニュートン反復で生じる線形方程式系の解法を高速化するため、問題固有の効果的な前処理を設計する。
• 収束速度と頑健性の面で、TFOCSなどの最先端の1次最適化ソルバーより優れた性能を示すことを実証する。
• β-正則化β-解析問題に対する提案されたpdNCG法の理論的収束保証を確立する。

提案手法

• 相関性が高く重複する辞書を有するβ-解析問題に特化した、原双対ニュートン共役勾配法（pdNCG）を提案する。
• 原双対フレームワークにおけるニュートン法を用いて、β-正則化最小二乗問題を解く：$\min_x \, c\|W^*x\|_1 + \frac{1}{2}\|Ax - b\|_2^2$。
• 共役勾配法を用いてニュートン方程式系の近似解を求めるが、問題構造に基づいて導出された前処理を適用する。
• 圧縮センシングに特徴的な性質（例：スパarsity、Wの構造（例：カーブレット、全変動））を活用し、効果的で安価な前処理を設計する。
• 前処理を施したCGソルバをグローバライゼーション戦略に統合し、pdNCG法のグローバル収束を保証する。
• W-RIP（重み付き制限等長性性質）を用いて、前処理の有効性と収束解析の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 相関性が高く重複する辞書を有する圧縮センシング問題において、2次最適化法は1次最適化法よりも速い収束を達成できるか？
• RQ2 このような問題のニュートン反復で生じる線形方程式系に対して、効果的な前処理をどのように設計できるか？
• RQ3 提案されたpdNCG法は、グローバル収束を維持しながら、超線形の局所収束を達成できるか？
• RQ4 CPU時間と再構成品質の面で、TFOCSなどの最先端の1次最適化ソルバーよりどの程度性能が優れているか？
• RQ5 iTVやカーブレットフレームワークに見られるような、問題固有の構造を活用して、効率的で安価な前処理を設計できるか？

主な発見

• pdNCG法は、相関性が高く重複する辞書を有するβ-解析圧縮センシング問題に対して、グローバル収束と超線形の局所収束率を達成する。
• 合成的なシェップ＝ローガン・ファントム画像再構成タスクにおいて、pdNCGはTFOCSに比べ3.7倍速く、16.4秒対60.7秒を要し、PSNRも同等（17.8 dB）であった。
• 1ピクセルカメラデータでは、5枚中4枚の画像でpdNCGがTFOCSより速く、平均して1.4倍のCPU時間短縮を達成した。
• 同様に、等方的全変動（iTV）やカーブレットベースの再構成を含む、多様な圧縮センシング応用分野において、頑健な性能を示した。
• CGの部分解法を大幅に高速化する効果的で問題固有の前処理を設計した。これにより、全体の効率性が向上した。
• 数値結果から、ニュートン方程式系の近似解が十分に加速に寄与することが確認され、1回の反復コストが高価でも2次最適化法が競争力を持つことが示された。