[論文レビュー] Analysis of a low memory implementation of the Orthogonal Matching Pursuit greedy strategy

Laura Rebollo‐Neira, Miroslav Rozložńık+1 more|arXiv (Cornell University)|Aug 31, 2016

Matrix Theory and Algorithms参考文献 32被引用数 2

ひとこと要約

本稿では、正規直交 Pursuit の低メモリ実装である自己投影マッチング・プルーニング（SPMP）を提示する。この手法は、メモリを削減しながら逐次的に最小二乗問題を解くことで、大規模な線形システムの効率的解法を可能にする。適切に定式化された問題に対して収束性と数値的安定性を保証し、直接線形代数的手法に対するスケーラブルな代替手法を提供する。

ABSTRACT

The convergence and numerical analysis of a low memory implementation of the Orthogonal Matching Pursuit greedy strategy, which is termed Self Projected Matching Pursuit, is presented. This approach renders an iterative way of solving the least squares problem with much less storage requirement than direct linear algebra techniques. Hence, it appropriate for solving large linear systems. The analysis highlights its suitability within the class of well posed problems.

研究の動機と目的

• 大規模な線形システムを解く際の、直接線形代数手法による高いメモリ要件を軽減すること。
• 正確性を維持しながらメモリ要件を最小限に抑えるグリーディなプルーニング戦略の開発。
• 提案された低メモリ手法の収束性および数値的安定性の分析。
• スパース回復および信号処理における適切に定式化された問題への本手法の適性の実証。

提案手法

• 自己投影マッチング・プルーニング（SPMP）アルゴリズムは、解空間における最も関連性の高い成分を逐次的に特定し、それらに投影する。
• 明示的な行列逆行列計算を避けるために、最小二乗部分問題を解くためにグリーディで反復的な投影戦略を用いる。
• 中間行列を完全に保持しないことで、逐次的更新に依存するメモリ使用量の削減を実現する。
• 各反復で残差の最小化を維持する直交投影ステップにより、収束が保証される。
• 数値解析により、適切に定式化された問題の標準的条件下で安定性と正確性が確認された。

実験結果

リサーチクエスチョン

• RQ1 正規直交 Pursuit のメモリ要件を、収束性を損なわずにどのように低減できるか？
• RQ2 OMP の低メモリ実装の数値的安定性の性質は何か？
• RQ3 反復的投影戦略は、大規模システムにおいて直接手法と同等の正確性を達成できるか？
• RQ4 本手法は、適切に定式化された問題において、どのような条件下で有効に機能するか？

主な発見

• SPMP は、直接手法と比較して顕著に低いメモリ使用量で最小二乗解に収束する。
• 理論的解析により、適切に定式化された問題において、本手法が数値的安定性と正確性を維持することが確認された。
• 反復的投影により、大規模なシステムへのスケーラビリティを実現するための大規模な中間行列の保存を回避できる。
• 本手法は、従来の線形代数ソルバーにとってメモリが制限要因となる状況において特に効果的である。