[論文レビュー] Sparse recovery conditions for Orthogonal Least Squares

Charles Soussen, Rémi Gribonval+2 more|arXiv (Cornell University)|Nov 2, 2011

Sparse and Compressive Sensing Techniques参考文献 15被引用数 2

ひとこと要約

本稿では、正確な回復条件（ERC）を用いた直交最小二乗法（OLS）の初めての正確な回復解析を提示し、ERCが満たされる場合、OLSが高々k回の反復で正確なサポート回復を保証することを証明している。さらに、OMPとは異なり、特定の辞書において回復不能な部分集合が生じる問題を回避することを示し、数値結果から、相関のある辞書ではOLSがOMPよりも少ない反復回数で保証された回復を達成できることを示している。

ABSTRACT

Tropp's analysis of Orthogonal Matching Pursuit (OMP) using the Exact Recovery Condition (ERC) is extended to a first exact recovery analysis of Orthogonal Least Squares (OLS). We show that when the ERC is met, OLS is guaranteed to exactly recover the unknown support in at most k iterations. Moreover, we provide a closer look at the analysis of both OMP and OLS when the ERC is not fulfilled. The existence of dictionaries for which some subsets are never recovered by OMP is proved. This phenomenon also appears with basis pursuit where support recovery depends on the sign patterns, but it does not occur for OLS. Finally, numerical experiments show that none of the considered algorithms is uniformly better than the other but for correlated dictionaries, guaranteed exact recovery may be obtained after fewer iterations for OLS than for OMP.

研究の動機と目的

• OMPのTroppによるERCベースの解析を、正確なサポート回復を目的とした直交最小二乗法（OLS）に拡張すること。
• ERCが満たされない場合のOMPとOLSの挙動、特に回復可能と回復不能な部分集合の関係を調査すること。
• OMPや基底追跡（Basis Pursuit）が符号パターンに依存して生じる部分集合の回復不能問題をOLSが回避できるかどうかを特定すること。
• 特に相関のある辞書において、保証された正確な回復のための反復回数の観点から、OLSとOMPの性能を比較すること。

提案手法

• OLSの解析に適した正確な回復条件（ERC）の応用を試み、正確なサポート回復の十分条件を確立すること。
• 残差に対する相関が最大となる原子を選択するグリーディ選択戦略を採用し、直交射影を用いてサポートを更新すること。
• ERCフレームワークを活用し、OLSが高々k回の反復で真のサポートを正確に回復できる条件を分析すること。
• 符号パターンの依存性に起因する、OMPが特定の部分集合を永遠に回復できないことを示す反例を構築すること。
• 相関のある辞書を用いた数値実験を行い、OLSとOMPの反復回数および回復保証の違いを比較すること。
• 符号パターンの依存性に起因するサポート回復の違いを強調するため、OLSを基底追跡と比較すること。

実験結果

リサーチクエスチョン

• RQ1 OLSはどのような条件下で高々k回の反復で信号のスパースサポートを正確に回復するか？
• RQ2 正確な回復条件（ERC）が満たされない場合、OLSはOMPに対してどのように性能を発揮するか？
• RQ3 OMPや基底追跡が符号パターンの依存性に起因して生じる部分集合の回復不能問題をOLSは回避できるか？
• RQ4 相関のある辞書において、OLSはOMPよりも少ない反復回数で保証された正確な回復を達成できるか？
• RQ5 ERCが満たされない場合、OLSとOMPのサポート回復挙動に根本的な違いが生じるか？

主な発見

• 正確な回復条件（ERC）が満たされる限り、OLSは高々k回の反復で正確なサポート回復を保証する。
• OMPとは異なり、符号パターンの依存性に起因する回復不能な部分集合の問題を、ERCが満たされていなくてもOLSは被らない。
• 符号パターンの制約に起因して、信号の強度やスパarsityに関係なく、OMPが真のサポートを回復できないような辞書と部分集合が存在する。
• 相関のある辞書では、OLSがOMPよりも少ない反復回数で保証された正確な回復を達成でき、収束速度が向上している。
• 数値実験の結果、OLSとOMPのどちらかが常に優位であるとは限らないが、相関のある環境ではOLSがより速い保証付き回復を実現している。