[論文レビュー] Convex optimization on Banach Spaces

Ronald DeVore, Vladimir Temlyakov|arXiv (Cornell University)|Jan 1, 2014

Sparse and Compressive Sensing Techniques参考文献 14被引用数 4

ひとこと要約

この論文は、微分を必要とせず関数評価のみを用いて一般のバナッハ空間における凸最小化問題に対して貪欲な最適化アルゴリズムを開発する。目的関数の滑らかさおよび辞書に関して最小化解のスパarsityまたは可換性に依存する事前収束速度の上限を確立し、凸性の仮定のもとで指数的誤差減少を達成する。

ABSTRACT

Greedy algorithms which use only function evaluations are applied to convex optimization in a general Banach space $X$. Along with algorithms that use exact evaluations, algorithms with approximate evaluations are treated. A priori upper bounds for the convergence rate of the proposed algorithms are given. These bounds depend on the smoothness of the objective function and the sparsity or compressibility (with respect to a given dictionary) of a point in $X$ where the minimum is attained.

研究の動機と目的

• 一般のバナッハ空間における微分を用いない貪欲な最適化アルゴリズムの開発。
• 次元に依存しない事前収束速度の上限の確立。関数評価にのみ依存する。
• 目的関数の滑らかさおよび最小化解のスパarsity／可換性が収束に与える影響の分析。
• 一変数凸最適化の結果を、[0,1]^d 上の多次元設定に座標ごとの再帰を用いて拡張する。
• 正確および近似関数評価を伴うアルゴリズムに対する理論的保証の提供。

提案手法

• 貪欲なアルゴリズムは、単位ノルムかつ符号反転に関して対称な辞書 D ⊂ X を用いて、反復的に近似を構築する。
• 各ステップで、ある α に対して E(G_m + αφ_m) を最も小さくするような辞書要素 φ_m を選択する。
• Fréchet微分 E′ の計算を避けるため、関数評価の比較に依存する。
• 主要な技術として、凸性を用いて区間縮小と誤差伝播により関数値近似の誤差をバインドする。
• 多次元問題では、各座標に沿って一変数法を再帰的に適用し、スライスごとの最小値を用いて次元を低減する。
• 誤差バウンドは、凸関数 f に対して勾配が増加すること、すなわち 0≤a<b≤c<d≤1 に対して (f(b)−f(a))/(b−a) ≤ (f(d)−f(c))/(d−c) を満たす性質を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分へのアクセスが制限される状況下で、関数評価のみを用いてバナッハ空間における凸最適化をどのように行えるか。
• RQ2 このような微分を用いない貪欲なアルゴリズムに対して、どのような収束速度の上限を確立できるか。
• RQ3 目的関数の滑らかさおよび最小化解のスパarsity／可換性が収束速度に与える影響は何か。
• RQ4 一変数凸最適化アルゴリズムを、理論的誤差バウンドを保証する形で多次元設定に拡張できるか。
• RQ5 近似関数評価が貪欲なアルゴリズムの収束挙動に与える影響は何か。

主な発見

• 一変数凸関数 [0,1] 上では、d次元の場合に (3+2m)^d 回の関数評価後に誤差バウンド 2^{-m}(4m+2)^d を達成する。
• アルゴリズムは f(x_m) ≤ min_x f(x) + 2^{-m}(4m+2)^d を保証し、m に関して指数的減少を示す。
• 一変数の場合、各反復で最大 3+2m 回の評価が用いられ、探索区間は半分に縮小され、各ステップで最大 4δ の誤差を発生する。
• Lipschitz 班クラス Lip₁¹ に対して、最適な最悪ケース誤差は 1/(4m) であり、この設定ではアルゴリズムはほぼ最適であることが示された。
• 多次元アルゴリズムは、一変数法を再帰的に適用し、周辺最小値の凸性を活用して誤差制御を維持する。
• 収束速度は、E の滑らかさおよび辞書 D に関して最小化解 x* のスパarsity または可換性に依存する。