[論文レビュー] Chebushev Greedy Algorithm in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Dec 4, 2013

Sparse and Compressive Sensing Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、バナッハ空間における凸最適化のためのE-Greedy Chebyshevアルゴリズム（EGCA）およびWeak Chebyshev Greedyアルゴリズム（WCGA）を導入・分析し、ヒルバート空間からバナッハ空間へのグリーディ近似手法の一般化を試みる。Lebesgue型不等式を用いて収束速度を確立し、真の解が与えられた辞書に関してスパースまたは近似的にスパースである場合、滑らかさおよび制限付き強い凸性の仮定のもとで、反復回数に関して誤差が指数関数的に減少することを示す。

ABSTRACT

Chebyshev Greedy Algorithm is a generalization of the well known Orthogonal Matching Pursuit defined in a Hilbert space to the case of Banach spaces. We apply this algorithm for constructing sparse approximate solutions (with respect to a given dictionary) to convex optimization problems. Rate of convergence results in a style of the Lebesgue-type inequalities are proved.

研究の動機と目的

• ヒルバート空間におけるグリーディ近似手法をバナッハ空間に拡張し、凸最適化問題を解くこと。
• 無限次元設定におけるグリーディアルゴリズムを用いたスパース近似解の収束理論を構築すること。
• 目的関数の滑らかさおよび真の解のスパarsityを用いて、収束速度の上限を確立すること。
• 均一な滑らかさおよび制限付き強い凸性の下で、E-Greedy Chebyshevアルゴリズム（EGCA）およびWeak Chebyshev Greedyアルゴリズム（WCGA）を分析すること。
• 辞書に基づくスパarsityの文脈において、Lebesgue型不等式を用いて近似誤差と反復回数のトレードオフを定量化すること。

提案手法

• バナッハ空間 $ X $ 上の凸的かつFréchet微分可能な関数 $ E $ を最小化するためのE-Greedy Chebyshevアルゴリズム（EGCA）およびWeak Chebyshev Greedyアルゴリズム（WCGA）を提案する。
• 各反復で、方向微分を最大に減少させるか、1次元部分空間に沿って関数を最小化するような辞書要素 $ \varphi_m \in \mathcal{D} $ を選択する。
• 最初の $ m $ 個の選択済み辞書要素の張る空間上で $ E $ を最小化する解として近似解 $ G_m $ を構築する。
• 関数 $ E $ の滑らかさを $ \rho(E,u) \leq \gamma u^q $ で定量化し、$ 1 < q \leq 2 $ とする。また、パラメータ $ \beta $ を用いた制限付き強い凸性を仮定する。
• スパarsity仮定を採用：真の最小解 $ f_0 $ は、$ K $-スパースな要素 $ f^\epsilon $ の $ \epsilon $-近傍内にあり、$ f^\epsilon / A(\epsilon) \in A_1(\mathcal{D}) $ を満たす。
• 滑らかさおよび凸性を用いて、誤差 $ a_n = E(G_n) - E(f^\epsilon) $ の再帰的不等式を導出し、減少率を評価する。

実験結果

リサーチクエスチョン

• RQ1 グリーディアルゴリズムは、ヒルバート空間からバナッハ空間への凸最適化にどのように一般化できるか？
• RQ2 滑らかさおよびスパarsity仮定の下で、E-Greedy Chebyshevアルゴリズム（EGCA）およびWCGAが達成できる収束速度は何か？
• RQ3 反復回数 $ m $、滑らかさパラメータ $ q $、真の解のスパarsityに応じて誤差はどのように減少するか？
• RQ4 関数 $ \rho(E,u) $ の滑らかさモジュラスは、グリーディアルゴリズムの収束挙動を決定づける役割を果たすか？
• RQ5 解が近似的にスパースである場合、バナッハ空間におけるグリーディアルゴリズムに対してLebesgue型不等式を確立できるか？

主な発見

• WCGA(co) は、$ \rho(E,u) \leq \gamma u^q $ および $ f_0 \in A_1(\mathcal{D}) $ の下で、$ E(G_m) - \inf E \leq C(q,\gamma,B) \left( \sum_{k=1}^m t_k^p \right)^{1-q} $ という収束レートを達成し、$ p = q/(q-1) $ である。
• $ t_k = t \in (0,1] $ の場合、誤差は $ O(m^{1-q}) $ に減少し、$ q=2 $ のときには反復回数 $ m $ に対して指数関数的減少となる。これは均一な滑らかさの下で成立する。
• EGCA(co) は同様の収束レートを達成する：$ E(G_m) - E(f_0) \leq \max\left( (E(0)-E(f_0)) \exp\left(-\frac{c_1 m}{K^{2r}}\right), 8(\gamma^2/\beta)\epsilon^2 \right) + 2\gamma\epsilon^2 $、ただし $ c_1 = \frac{\beta}{64\gamma V^2} $ である。
• 真の解 $ f_0 $ が $ K $-スパースであり、$ \|f_0 - f^\epsilon\| \leq \epsilon $ を満たす場合、誤差は $ m/K^{2r} $ に対して指数関数的に減少し、スパース解に対して高速収束を示す。
• 収束速度は、関数 $ E $ の滑らかさ、解のスパarsity、および定数 $ V $ と $ r $ を用いたスパarsity仮定を通じて、辞書の幾何的性質に依存する。
• 解析により、誤差境界が真の解の $ \epsilon $-摂動に対してロバストであることが示され、誤差は $ \epsilon $ に関して2次的に増加する。