[論文レビュー] Greedy expansions in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Jun 2, 2012

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

本稿は、非線形近似理論からの技術を応用して、凸最適化におけるスパース解のための貪欲アルゴリズム拡張を導入し、分析する。均一な滑らかさ条件の下で、グリーディ・グリーディ・アルゴリズム（GGA）の収束速度を確立し、目的関数の滑らかさモジュラスがべき関数で有界である場合に最適な収束速度を示し、特にユニット球のような対称辞書ではより良い収束速度が得られることを示す。

ABSTRACT

This paper is a follow up to the previous author's paper on convex optimization. In that paper we began the process of adjusting greedy-type algorithms from nonlinear approximation for finding sparse solutions of convex optimization problems. We modified there three the most popular in nonlinear approximation in Banach spaces greedy algorithms -- Weak Chebyshev Greedy Algorithm, Weak Greedy Algorithm with Free Relaxation and Weak Relaxed Greedy Algorithm -- for solving convex optimization problems. We continue to study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. In this paper we concentrate on greedy algorithms that provide expansions, which means that the approximant at the $m$th iteration is equal to the sum of the approximant from the previous iteration ($(m-1)$th iteration) and one element from the dictionary with an appropriate coefficient. The problem of greedy expansions of elements of a Banach space is well studied in nonlinear approximation theory. At a first glance the setting of a problem of expansion of a given element and the setting of the problem of expansion in an optimization problem are very different. However, it turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy expansions technique can be adjusted for finding a sparse solution of an optimization problem given by an expansion with respect to a given dictionary.

研究の動機と目的

• 非線形近似理論からの貪欲近似技術を、スパース凸最適化問題に適応すること。
• 係数を段階的に辞書要素を追加することで解を構成する貪欲アルゴリズムを設計・分析すること。
• 目的関数の均一な滑らかさ仮定の下で、これらの貪欲拡張の収束速度を確立すること。
• 特に、辞書がバナッハ空間のユニット球であるような特殊な場合において、収束速度を改善すること。

提案手法

• 弱チェビシェフ、弱い貪欲自由緩和、弱い緩和付き貪欲の3つの貪欲型アルゴリズムを、凸最適化に適応した統一的枠組みに統合する。
• 収束を保証するためのパrameter τ（弱さシーケンス）、b（緩和）、μ（滑らかさ制御）を備えたグリーディ・グリーディ・アルゴリズム（GGA）を導入する。
• 凸関数 E の滑らかさを特徴付けるために、滑らかさモジュラス ρ(E, S, u) を用い、ρ(E, u) ≤ γu^q（q ∈ (1,2]）を仮定する。
• 誤差 a_m = E(G_m) - inf E(x) を含む再帰的不等式を確立し、b_m = 1 + ∑_{j=1}^m c_j を用いて収束を評価する。
• Hahn-Banachのノルム関数型および凸性の部分勾配バウンドといった関数解析の不等式を用い、誤差の減少を導出する。
• 再帰的バウンドと漸近的解析を用いて、a_m^1/(q-1) / b_m^p（p = q/(q-1)）の減少を分析し、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形解析からの貪欲近似技術は、凸最適化問題に効果的に適応可能か？
• RQ2 均一な滑らかさの下で、凸最適化における貪欲拡張の収束速度はどのように保証されるか？
• RQ3 辞書の選択（例：ユニット球）は、貪欲アルゴリズムの収束速度にどのように影響するか？
• RQ4 緩和パrameter b および弱さシーケンス τ は、収束速度の制御に果たす役割は何か？
• RQ5 辞書がバナッハ空間のユニット球である場合、改善された収束速度を導出可能か？

主な発見

• 一般の対称辞書の場合、GGA は収束速度 E(G_m) - inf E(x) ≤ C(b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{-t_m(1-b)(q-1)/(q + t_m(1-b))} を達成し、p = q/(q-1) である。
• 辞書がユニット球の場合、収束速度は E(G_m) - inf E(x) ≤ C(E, b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{1-q} に改善される。
• 収束速度は滑らかさパrameter q に依存する：q が大きくなる（2に近づく）ほど、より速い減少が達成され、滑らかさが高い関数がより速く収束することが示唆される。
• 誤差バウンドは、w を辞書の凸包上での E の下界とする a_m = E(G_m) - w の再帰的解析を通じて導出される。
• 滑らかさモジュラスがべき関数で有界である場合、μ(u) = γu^q を選ぶことで最適な収束速度が達成されることを示している。
• 最適化プロセスの安定性を保証するため、集合 {x: E(x) ≤ E(0)} が有界であるという仮定のもとで、結果は成り立つ。