[論文レビュー] Stochastic Greedy Algorithms For Multiple Measurement Vectors

Jing Qin, Shuang Li+5 more|arXiv (Cornell University)|Nov 5, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用数 8

ひとこと要約

本稿では、複数測定ベクトル（MMV）問題における連合スパース回復のため、確率的勾配アルゴリズム—MMV 確率的反復ハードスレッショーディング（MStoIHT）およびMMV 確率的勾配マッチング Pursuit（MStoGradMP）—を提案する。確率的最適化とミニバッチ処理を活用することで、連結されたSMV（単一測定ベクトル）手法と比較して、収束速度が速く、性能が優れている。理論的保証と実験的検証を通じて、動画回復および線形システムへの応用が確認された。

ABSTRACT

Sparse representation of a single measurement vector (SMV) has been explored in a variety of compressive sensing applications. Recently, SMV models have been extended to solve multiple measurement vectors (MMV) problems, where the underlying signal is assumed to have joint sparse structures. To circumvent the NP-hardness of the $\ell_0$ minimization problem, many deterministic MMV algorithms solve the convex relaxed models with limited efficiency. In this paper, we develop stochastic greedy algorithms for solving the joint sparse MMV reconstruction problem. In particular, we propose the MMV Stochastic Iterative Hard Thresholding (MStoIHT) and MMV Stochastic Gradient Matching Pursuit (MStoGradMP) algorithms, and we also utilize the mini-batching technique to further improve their performance. Convergence analysis indicates that the proposed algorithms are able to converge faster than their SMV counterparts, i.e., concatenated StoIHT and StoGradMP, under certain conditions. Numerical experiments have illustrated the superior effectiveness of the proposed algorithms over their SMV counterparts.

研究の動機と目的

• 複数測定ベクトル（MMV）問題において、連結された単一測定ベクトル（SMV）アルゴリズムの計算非効率性と最適でない連合スパース性の強制を解消すること。
• MMVにおけるℓ₀最小化のNP困難性を克服するため、ベクトル化や連結を伴わずに、連合スパース構造を活用する確率的勾配アルゴリズムを設計すること。
• 確率的最適化とミニバッチ技術を勾配MMVアルゴリズムに統合することで、信号回復における収束速度とロバスト性を向上させること。
• 提案アルゴリズムの収束を理論的に正当化し、分散型圧縮センシングへの適用可能性を示すこと。
• 収束に関する議論を含む、連結SMVアルゴリズムの初めての理論的分析を提供し、文献における空白を埋めること。

提案手法

• MStoIHTおよびMStoGradMPを、IHTおよびGradMPの確率的拡張として提案。測定ブロックのランダムサンプリングにより計算コストを低減する。
• 収束の安定性と加速を図るため、ミニバッチを導入。実験ではバッチサイズ $ b = 3 $ および $ d = 20 $ ブロックを用いた。
• 複数の測定ベクトルにわたる連合スパース性を強制するために、行スパarsity制約 $ \|X\|_{r,0} \leq k $ を利用する。
• 反復的にサポートを精緻化し、解行列を更新するために、ハードスレッショーディングを施した確率的勾配降下法を適用する。
• 線形測定モデルに対して、最小二乗損失関数 $ F(X) = \frac{1}{2}\|Y - AX\|_F^2 $ を使用する。
• 理論的分析により、制限強凸性および滑らかさ条件の下で収束を確立。収束速度はSMV手法と比較して速く、理論的保証が得られている。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配アルゴリズムは、MMV問題における収束速度と精度の面で、決定的SMVベース手法を上回ることができるか？
• RQ2 ミニバッチ処理は、連合スパース回復における確率的勾配アルゴリズムの安定性と収束にどのような影響を与えるか？
• RQ3 提案された確率的MMVアルゴリズムの理論的収束挙動は、SMV連結手法と比較してどうなるか？
• RQ4 提案アルゴリズムは、動画回復などの実世界応用において、連合スパース信号を効果的に回復できるか？
• RQ5 確率的MMVアルゴリズムは、M-FOCUSS や M-CoSaMP といった古典的手法と比較して、どのような条件下で性能を維持または向上させるか？

主な発見

• 提案されたMStoIHTおよびMStoGradMPアルゴリズムは、制限強凸性および滑らかさ条件の下で理論的根拠を伴い、SMV連結手法と比較して収束が速い。
• 動画回復実験では、BMStoGradMPが再構成誤差 $ 3.09 \times 10^{-15} $、実行時間 $ 2.56 \times 10^{-4} $ 秒を達成し、精度と速度の両面でM-FOCUSSおよびM-OMPを上回った。
• MStoGradMPは0.0743秒で再構成誤差 $ 2.51 \times 10^{-16} $ を達成し、M-FOCUSS（誤差 $ 3.21 \times 10^{-3} $）およびM-HTP（誤差 $ 5.72 \times 10^{-2} $）を著しく上回った。
• 合成データおよび実動画データを用いた検証により、ノイズに強く、分散型圧縮センシングにおいて優れた性能を示した。
• 収束解析により、同じ条件下で確率的MMVアルゴリズムがSMV連結手法よりも速く収束することが確認され、収束速度に関する理論的保証が得られた。
• ミニバッチの導入により、数値実験の結果、確率的アルゴリズムの安定性と効率が顕著に向上し、収束が速く、残差誤差も低くなった。