[論文レビュー] Fast Algorithms for Sparse Recovery with Perturbed Dictionary

Xuebing Han, Hao Zhang+1 more|arXiv (Cornell University)|Nov 27, 2011

Sparse and Compressive Sensing Techniques参考文献 8被引用数 7

ひとこと要約

本稿では、測定値と辞書行列の両方に摂動が存在する不定線形システムにおけるスパース回復のための高速で頑健なアルゴリズム、TLS-FOCUSS および SD-FOCUSS を提案する。Total Least-Squares (TLS) を FOCUSS フレームワークと組み合わせることで、低コストな計算量で近似的最適性能を達成し、S-TLS よりも高速かつ高精度である一方で、収束保証を維持する。

ABSTRACT

In this paper, we account for approaches of sparse recovery from large underdetermined linear models with perturbation present in both the measurements and the dictionary matrix. Existing methods have high computation and low efficiency. The total least-squares (TLS) criterion has well-documented merits in solving linear regression problems while FOCal Underdetermined System Solver (FOCUSS) has low-computation complexity in sparse recovery. Based on TLS and FOCUSS methods, the present paper develops more fast and robust algorithms, TLS-FOCUSS and SD-FOCUSS. TLS-FOCUSS algorithm is not only near-optimum but also fast in solving TLS optimization problems under sparsity constraints, and thus fit for large scale computation. In order to reduce the complexity of algorithm further, another suboptimal algorithm named D-FOCUSS is devised. SD-FOCUSS can be applied in MMV (multiple-measurement-vectors) TLS model, which fills the gap of solving linear regression problems under sparsity constraints. The convergence of TLS-FOCUSS algorithm and SD-FOCUSS algorithm is established with mathematical proof. The simulations illustrate the advantage of TLS-FOCUSS and SD-FOCUSS in accuracy and stability, compared with other algorithms.

研究の動機と目的

• 測定値と辞書行列の両方に摂動が存在する状況における、効率的なスパース回復アルゴリズムの欠如に対処すること。
• FOCUSS の低計算量および高速収束特性を維持しつつ、摂動に対する頑健性を向上させること。
• Total Least-Squares (TLS) の最適性と FOCUSS の反復的重み付けの特徴を統合し、スパース回復に応用する手法の開発。
• 複数測定ベクトル（MMV）モデルへのフレームワークの拡張を図り、より広範な信号回復シナリオへの適用を可能にすること。
• 従来の手法（S-TLS や標準 FOCUSS）と比較して、性能向上の理論的収束証明と実験的検証の提供。

提案手法

• Bayesian MAP推定フレームワークに基づき、測定値および辞書の摂動を組み込んだ正則化された目的関数を導出する。
• FOCUSSフレームワークに基づく反復的重み付けアルゴリズムを導出する。ここで重みは反復的に更新され、解のスパarsityを促進する。
• TLS-FOCUSS を導入し、FOCUSS反復にTotal Least-Squares基準を組み込み、測定値と辞書の両方の誤差を同時に最小化する。
• SD-FOCUSS を提案し、更新ルールを単純化することで計算コストを低減し、MMV設定における効率的利用を可能にする。
• 測定値および辞書の摂動に関する標準的仮定の下で、TLS-FOCUSS および SD-FOCUSS の数学的収束証明を確立する。
• アルゴリズムを単一測定ベクトル（SMV）および複数測定ベクトル（MMV）モデルに適用し、SNRおよびスパarsityレベルの変動に対しても頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 測定ベクトルと辞書行列の両方に摂動が存在する状況を考慮した、高速かつ頑健なスパース回復アルゴリズムを開発可能か？
• RQ2 Total Least-Squares (TLS) を FOCUSS フレームワークと組み合わせることで、標準 FOCUSS や S-TLS と比較して、精度および収束速度の面で性能がどのように向上するか？
• RQ3 提案手法は、変動するSNRおよびスパarsityレベルにおいても安定性と正確性を維持できるか？
• RQ4 SD-FOCUSS の変種は、MMVシナリオにおいて計算効率と回復精度の妥当なトレードオフを提供できるか？
• RQ5 摂動を含む線形モデル下で、提案された反復的アルゴリズムの理論的収束挙動はいかなるものか？

主な発見

• TLS-FOCUSS は、S-TLS よりも著しく高速な計算を実現し、128×512問題において平均実行時間を5秒以上から0.6秒未満に短縮した。
• SD-FOCUSS は計算複雑性をさらに低減し、同じ設定で平均実行時間が0.3秒にまで短縮され、大規模応用に適している。
• 単一測定ベクトル（SMV）シナリオでは、TLS-FOCUSS および SD-FOCUSS は標準 FOCUSS や S-TLS よりも成功確率およびRMSEの両面で優れている。特に低SNR条件下で顕著である。
• 複数測定ベクトル（MMV）シナリオでは、SD-FOCUSS は MMV FOCUSS、正則化済み MMV FOCUSS、MMV OMP よりも高い成功確率および低いMSEを達成しており、観測ベクトル数（L）が増加するに従って顕著である。
• 提案された反復的フレームワーク下で、TLS-FOCUSS および SD-FOCUSS の収束が数学的に証明されており、反復の過程でも安定した性能を保証する。
• SNR = 15 dB および k/m = 0.5 の条件下で、TLS-FOCUSS は95％を超える成功確率を達成したのに対し、S-TLS は80％にとどまり、優れた頑健性を示した。