[論文レビュー] On Greedy Algorithms with bounded cumulative coherence

Eugene Livshitz|ArXiv.org|Nov 8, 2009

Sparse and Compressive Sensing Techniques参考文献 6被引用数 4

ひとこと要約

本稿は、累積コherenceが有界である辞書を用いたスパース近似における純貪欲アルゴリズム（PGA）の収束速度を確立する。μ₁(D) < 1/3 のとき、PGAは A^p(D) のクラスにおいて、標準的な m^{-1/2} のレートよりも優れた最適な収束速度 O(|f|_p m^{-1/p + 1/2}) を達成することを証明する。

ABSTRACT

We discuss the upper and lower estimates for the rate of convergence of Pure and Orthogonal Greedy Algorithms for dictionary with bounded cumulative coherence.

研究の動機と目的

• Hilbert空間におけるスパース近似に対して、累積コherenceが有界な辞書を有する Pure Greedy Algorithm (PGA) の収束挙動を分析すること。
• 標準的な m^{-1/2} の境界と比較して、PGA が最適または改善された収束速度を達成する条件を特定すること。
• A^p(D) クラスに属する関数に対する誤差 ‖f - G_m^{PGA}(f,D)‖ の鋭い上界を確立すること。
• 累積コherence μ₁(D) が貪欲近似の品質をどのように決定するかを調査すること。
• 特に指数的 vs 多項式的収束という観点から、PGA の性能を Orthogonal Greedy Algorithm (OGA) と比較すること。

提案手法

• 辞書の構造を特徴付けるために、μ₁(D) = sup_{g∈D} Σ_{g'≠g} |⟨g',g⟩| の概念を用いる。
• μ₁(D) < 1/2 の下で、ℓ² 範囲と ℓ¹ 範囲の観点から線形結合の ℓ² 範囲を制御するための補題 1 を適用する。
• 反復的精錬を補題 3 を用いて、反復ごとの残差ノルム ‖f_m‖ の減衰を制御する。
• 辞書要素との内積の sup-ノルムを用いて、残差ノルムの再帰的不等式を導出する。
• Hölder型不等式を用いて ℓ^p と ℓ² 範囲の推定値を組み合わせ、残差誤差を制御する。
• ε > 0 を用いた摂動論法により、閉じた A^p(D) クラスにおける近似を扱う。

実験結果

リサーチクエスチョン

• RQ1 辞書の累積コherenceが有界であるとき、A^p(D) に属する関数に対する Pure Greedy Algorithm (PGA) の最適収束速度は何か？
• RQ2 μ₁(D) の値が PGA の収束速度にどのように影響するか。また、性能向上を保証する閾値は何か？
• RQ3 μ₁(D) < 1/2 のとき、有限線形結合（A₀(D)）に対して PGA は指数的収束を達成できるか。OGA と比較するとどうなるか？
• RQ4 PGA が m^{-1/2} のレートを上回らない条件は何か。また、これを定量的に記述できるか？
• RQ5 p ∈ [1,2) のとき、O(|f|_p m^{-1/p + 1/2}) の境界は鋭いか。また、μ₁(D) に依存するか？

主な発見

• f ∈ A₁(D) かつ μ₁(D) < 1/3 のとき、PGA の誤差は ‖f - G_m^{PGA}(f,D)‖ ≤ |f|₁ m^{-1/2} を満たし、A₁(D) における OGA の最適レートと一致する。
• 1 ≤ p < 2 かつ μ₁(D) < 1/3 のとき、f ∈ A^p(D) に対して誤差は O(|f|_p m^{-1/p + 1/2}) に減少し、p < 2 の場合に m^{-1/2} のレートを改善する。
• 収束速度 O(|f|_p m^{-1/p + 1/2}) が鋭いことが示され、定数は p と μ₁(D) に依存する。
• μ₁(D) が大きい（有限ではあるが）場合、PGA は最適でないレートを示し、ある β > 0 に対して下界 Ω(m^{-1/2 + β}) が存在する。
• μ₁(D) < 1/2 のとき、補題 1 の ℓ²-ℓ¹ 同値性により、残差ノルムは一様に有界であり、ノルム制御が可能になる。
• 証明技法は、反復的に残差表現における最大係数を制御することに依存し、ε > 0 を用いた摂動論法が用いられる。