[論文レビュー] Fast Iteratively Reweighted Least Squares Algorithms for Analysis-Based Sparsity Reconstruction

Chen Chen, Junzhou Huang+2 more|arXiv (Cornell University)|Nov 18, 2014

Sparse and Compressive Sensing Techniques参考文献 44被引用数 9

ひとこと要約

本稿では、共役勾配法における新しい疑似対角条件化子を用いて収束を加速する、分析ベースのスパarsity再構成のための高速逐次再重み付き最小二乗法（FIRLS）アルゴリズムを提案する。本手法は、反復ごとの計算コストを著しく低減しつつ指数的収束を達成し、圧縮センシングMRIおよびマルチコントラストイメージングタスクにおいて、14の最先端手法を上回る精度と計算効率を実現した。

ABSTRACT

In this paper, we propose a novel algorithm for analysis-based sparsity reconstruction. It can solve the generalized problem by structured sparsity regularization with an orthogonal basis and total variation regularization. The proposed algorithm is based on the iterative reweighted least squares (IRLS) model, which is further accelerated by the preconditioned conjugate gradient method. The convergence rate of the proposed algorithm is almost the same as that of the traditional IRLS algorithms, that is, exponentially fast. Moreover, with the specifically devised preconditioner, the computational cost for each iteration is significantly less than that of traditional IRLS algorithms, which enables our approach to handle large scale problems. In addition to the fast convergence, it is straightforward to apply our method to standard sparsity, group sparsity, overlapping group sparsity and TV based problems. Experiments are conducted on a practical application: compressive sensing magnetic resonance imaging. Extensive results demonstrate that the proposed algorithm achieves superior performance over 14 state-of-the-art algorithms in terms of both accuracy and computational cost.

研究の動機と目的

• 分析ベースのスパarsity再構成における重複グループスパarsityおよび全変動正則化のための効率的でないアルゴリズムの欠如に対処する。
• 各反復における大規模行列の逆行列計算に起因する、従来のIRLS手法の高い計算コストを克服する。
• 反復ごとの複雑さを低減しつつ指数的収束を維持する、高速でスケーラブルなアルゴリズムを開発する。
• 圧縮センシングMRIなどの医療画像分野における大規模な逆問題の効率的解法を可能にする。
• 重複グループ、連携スパarsity、全変動を含む構造的スパarsityパターンへのIRLSの適用範囲を拡張する。

提案手法

• 直交的Ψと全変動を伴う一般化された分析ベースのスパarsity問題：min_x {½||Ax−b||²₂ + λ||Ψx||₂,₁} を解くための高速IRLSベースのアルゴリズムを提案する。
• 新しい疑似対角条件化子を用いた条件化付き共役勾配法（PCG）により、部分問題の解法を加速する。
• 非対角情報の保持を維持しながら計算コストを低く保つ条件化子を設計し、特にシステム行列Sが対角優勢である場合に特に有効である。
• 標準ℓ₁、非重複および重複グループスパarsity、全変動の複数のスパarsityパターンに本手法を適用する。
• 変換操作（例えばウェーブレット、有限差分）が正則化に含まれる場合でも、本手法が効率的であることを保証する。
• 安定性と収束性を維持するために、部分問題の解法に変数分割と拡張ラグランジュ緩和を用いる。

実験結果

リサーチクエスチョン

• RQ1 重複グループスパarsityおよび全変動正則化に対して、IRLSを高速化し、反復ごとの計算コストを低く抑えながら収束を速めることは可能か？
• RQ2 特別に設計された条件化子は、精度を損なわずにIRLS部分問題の計算コストを顕著に低減できるか？
• RQ3 本手法は、実世界の医療画像タスクにおいて、再構成精度と計算効率の両面で既存の最先端手法を上回ることができるか？
• RQ4 本手法は、複雑なスパarsity構造を有する圧縮センシングMRIのような大規模問題にどのようにスケーリングできるか？
• RQ5 本手法の条件化子は、対角優勢でないシステムに対しても有効であるか？また、ヤコビなどの標準的条件化子と比較してどうか？

主な発見

• 提案されたFIRLS手法は指数的収束を達成し、標準的IRLSアルゴリズムの理論的収束速度と一致する。
• 疑似対角条件化子の使用により、反復ごとの計算コストが顕著に低減され、大規模問題の効率的解法が可能になった。
• 25％のアンダーサンプリングCS-MRIにおいて、平均SNRは33.69 dBを達成し、SPGL1_MMV（31.58 dB）とFCSA_MT（33.12 dB）を上回った。平均時間コストは42％低く（5.19秒対10.38秒）なった。
• 20％サンプリングでは、平均SNR 30.01 dB、平均時間5.23秒を達成し、SPGL1_MMV（29.31 dB、9.98秒）とFCSA_MT（29.69 dB、7.54秒）を上回った。
• SRI24マルチコントラストMRIデータセットでは、平均4.6秒で収束した。FCSA_MT（7.2秒）とSPGL1_MMV（9.3秒）を上回り、SNRも高い水準を維持した。
• 重複グループスパarsity、連携スパarsity、全変動を含むすべてのテストスパarsityパターンにおいて一貫した優位性を示し、複雑な構造に対しても性能の劣化が見られなかった。