[論文レビュー] Greedy approximation in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Jun 2, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用数 7

ひとこと要約

本稿は、バナッハ空間における凸最適化問題のスパース解を求めるために、非線形近似理論で開発された貪欲近似アルゴリズムを用いる理論的枠組みを確立する。滑らかさの性質とバナッハ空間における双対性を活用することで、同じ貪欲手法（例えば弱チエビシェフ貪欲アルゴリズム：WCGA）が次元に依存しない収束速度を達成できることを示している。

ABSTRACT

We study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. The problem of approximation of a given element of a Banach space by linear combinations of elements from a given system (dictionary) is well studied in nonlinear approximation theory. At a first glance the settings of approximation and optimization problems are very different. In the approximation problem an element is given and our task is to find a sparse approximation of it. In optimization theory an energy function is given and we should find an approximate sparse solution to the minimization problem. It turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy approximation technique can be adjusted for finding a sparse solution of an optimization problem.

研究の動機と目的

• 非線形近似理論におけるスパース近似と凸最適化におけるスパース解との間のギャップを埋める。
• 無限次元バナッハ空間における貪欲アルゴリズムの次元に依存しない収束保証を構築する。
• 元来関数近似を目的として開発された貪欲型アルゴリズムを、冗長辞書に関するスパース最適化問題に適応する。
• 双対性と滑らかさを活用することで、近似と最適化の両分野に同じアルゴリズムフレームワークが適用可能であることを確立する。
• 目的関数の一般な滑らかさ条件の下で、貪欲アルゴリズムの収束速度を提供する。

提案手法

• 各貪欲ステップで勾配の負の方向を選択基準として用いることで、弱チエビシェフ貪欲アルゴリズム（WCGA）を凸最適化に適応する。
• 選択を制御するための弱さシーケンス $ t_k \leq 1 $ を用い、標準的な貪欲選択を一般化する。
• 選択された辞書要素の線形包内での現在の残差への最良近似として、近似器 $ G_m $ を定義する。
• 目的関数の最大降下を保証するため、貪欲選択をガイドするノルム関数 $ F_{f^{c}_{m-1}} $ を用いる。
• 近似の証明で用いられる標準的な不等式 $ \|x + u y\| \geq F_x(x + u y) $ を、最適化の証明では凸性に基づく不等式に置き換える。
• 滑らかさ条件 $ \rho(u) \leq \gamma u^q $ を、より一般的な不等式 $ E(x + u y) - E(x) - u\langle E'(x), y \rangle \leq 2\rho(E, u\|y\|) $ に置き換えることで、適用範囲を広げる。

実験結果

リサーチクエスチョン

• RQ1 非線形近似理論から得られた貪欲近似技法は、スパース凸最適化に効果的に再利用可能か？
• RQ2 無限次元バナッハ空間におけるスパース最適化のための貪欲アルゴリズムの収束速度は何か？
• RQ3 目的関数の滑らかさが、最適化における貪欲アルゴリズムの収束挙動にどのように影響するか？
• RQ4 貪欲アルゴリズムが、$ m $-項近似クラス内でスパースかつ最適な解を生成する条件は何か？
• RQ5 双対性を活用することで、同じ理論的フレームワークが近似問題と最適化問題の両方に適用可能か？

主な発見

• WCGA や WRGA、WGAFR などの貪欲アルゴリズムは、環境次元に依存しない収束速度を達成するように、凸最適化問題に適応可能である。
• 凸最適化における WCGA の収束速度は、目的関数 $ E $ の滑らかさモジュラス $ \rho(E, u) $ に依存し、$ \rho(E, u) \sim u^q $（$ 1 < q \leq 2 $）のときより速い収束が得られる。
• $ E(x) = \|f - x\|^q $ の場合、最適化における貪欲アルゴリズムは近似理論におけるそれらと一致し、分野間の一貫性が確認される。
• 制約集合として凸包 $ A_1(\mathcal{D}) $ を用いることで、特に WRGA(co) のようなアルゴリズムにおいて収束バウンドをより厳密にできる。これは $ E $ が不等式 $ E(x + u(y - x)) - E(x) - u\langle E'(x), y - x \rangle \leq 2\rho(E, u\|y - x\|) $ を満たす場合に有効である。
• 近似理論と同様の再帰的技法を用いて、最適化における貪欲アルゴリズムの理論的収束結果を導出するが、根拠となる不等式（例：(5.1) 対 (1.9)）のみが異なる。
• 本稿では、部分レベル集合 $ D = \{x : E(x) \leq E(0)\} $ が $ A_1(\mathcal{D}) $ による再ノルム化のもとで保存されないことが示され、元のバナッハ空間構造の重要性が強調されている。