[論文レビュー] Orthogonal Matching Pursuit with Replacement

Prateek Jain, Ambuj Tewari+1 more|arXiv (Cornell University)|Jun 14, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用数 51

ひとこと要約

本稿では、各ステップでサポート要素の追加と削除を許容することで、OMPを強化した新しい反復的スパース回復アルゴリズムであるOrthogonal Matching Pursuit with Replacement (OMPR)を提案する。OMPRは、グリーディアルゴリズムの中で最もタイトな既知の制限等長性性質（RIP）の保証を達成し、局所性に敏感なハッシュ（LSH）を用いたOMPR-Hashにより、次元数に関して最初の保証可能な部分線形スパース回復を実現する。大規模な問題において、既存の手法を上回る速度と頑健性を示す。

ABSTRACT

In this paper, we consider the problem of compressed sensing where the goal is to recover almost all the sparse vectors using a small number of fixed linear measurements. For this problem, we propose a novel partial hard-thresholding operator that leads to a general family of iterative algorithms. While one extreme of the family yields well known hard thresholding algorithms like ITI (Iterative Thresholding with Inversion) and HTP (Hard Thresholding Pursuit), the other end of the spectrum leads to a novel algorithm that we call Orthogonal Matching Pursuit with Replacement (OMPR). OMPR, like the classic greedy algorithm OMP, adds exactly one coordinate to the support at each iteration, based on the correlation with the current residual. However, unlike OMP, OMPR also removes one coordinate from the support. This simple change allows us to prove that OMPR has the best known guarantees for sparse recovery in terms of the Restricted Isometry Property (a condition on the measurement matrix). In contrast, OMP is known to have very weak performance guarantees under RIP. Given its simple structure, we are able to extend OMPR using locality sensitive hashing to get OMPR-Hash, the first provably sub-linear (in dimensionality) algorithm for sparse recovery. Our proof techniques are novel and flexible enough to also permit the tightest known analysis of popular iterative algorithms such as CoSaMP and Subspace Pursuit. We provide experimental results on large problems providing recovery for vectors of size up to million dimensions. We demonstrate that for large-scale problems our proposed methods are more robust and faster than existing methods.

研究の動機と目的

• 古典的な直交マッチング Pursuit (OMP) における強い理論的保証の欠如に起因する、標準的なRIP条件下での失敗を是正すること。
• OMPの単純さを保ちつつ、より強い理論的収束保証を有する新しい反復的スパース回復アルゴリズムを開発すること。
• 局所性に敏感なハッシュ（LSH）を用いて、高次元設定における部分線形時間のスパース回復を可能にすることにより、大規模問題における実用的効率性を達成すること。
• CoSaMP、SP、IHT、HTPといった既存のアルゴリズムを統一的に分析する、タイトな理論的フレームワークを提供すること。
• 大規模問題（最大100万次元）において、OMPRとOMPR-Hashの実験的妥当性を検証し、優れた頑健性と速度を示すこと。

提案手法

• ITI や HTP が端点となる既存の手法と OMPR が端点となる新しい部分ハードスレッショーディング作用素を介した一般化された反復的アルゴリズムの族を提案する。
• OMPRを新規のグリーディアルゴリズムとして導入し、OMPとは異なり、各反復で1つのサポート要素を削除しながら1つを追加することで、より優れた収束特性を実現する。
• OMPRが $k$-スパース信号をすべて正確に回復可能であることを証明し、RIP条件 $\delta_{2k} < 1/3$ を満たせば、任意のグリーディアルゴリズムの中で最もタイトな既知の保証を達成することを確立する。
• OMPRとLSHを統合することで、高次元空間における部分線形時間回復を可能にするOMPR-Hashを開発する。
• OMPRでは固定ステップサイズ $\eta = 1$ を採用し、安定性を求めるためにより小さいステップサイズを必要とする他の手法とは異なり、少なくとも局所的最小値への収束を保証する。
• 2段階サポート更新戦略を採用する：まず残差との相関を介してサポートを拡張し、次にハードスレッショーディングにより収縮する。CoSaMP や SP と同様の戦略だが、理論的境界が改善されている。

実験結果

リサーチクエスチョン

• RQ1 制限等長性性質（RIP）下で、OMPの単純さを保ちつつ、より強い理論的保証を達成できるグリーディスパース回復アルゴリズムを設計できるか？
• RQ2 グリーディアルゴリズムがすべての $k$-スパース信号を保証的に回復できる、最もタイトな既知のRIP条件は何か？
• RQ3 局所性に敏感なハッシュ（LSH）を用いて、高次元スパース回復において部分線形時間複雑度を達成できるように、グリーディアルゴリズムを適合させられるか？
• RQ4 大規模問題において、提案されたOMPRアルゴリズムは、IHT、CoSaMP、SPといった既存の最先端手法と比較して、性能と頑健性で優れているか？
• RQ5 OMPRの理論的分析を、CoSaMP や部分空間 Pursuit といった他のよく知られた反復的アルゴリズムに対しても、よりタイトな境界を提供するように拡張できるか？

主な発見

• OMPRは、グリーディアルゴリズムの中で最もタイトな既知のRIP保証を達成し、すべての $k$-スパース信号の正確な回復に $\delta_{2k} < 1/3$ が必要である。
• LSHに基づくOMPR-Hashは、次元数に関して部分線形時間複雑度を達成し、スパース回復における最初の保証可能な部分線形アルゴリズムである。
• 大規模問題（$n = 10^6$ まで）において、OMPRとOMPR-Hashは、IHT-Newton、CoSaMP、SPを回復精度と計算速度の両面で上回る。
• ノイズのある状況下でも、OMPRは既存の手法よりも一貫して低い回復誤差を示し、特に高ノイズレベル下で優れた頑健性を示す。
• OMPR-Hashは、OMPRの約10倍速く、IHT-Newtonの約2倍速く、誤差レベルは同等を維持する。
• 統計的比較により、36の実験セルのうち30でOMPRはIHT-Newtonを有意に上回り（95％信頼水準）、逆に劣るケースは一切ない。