[論文レビュー] Conditional gradient type methods for composite nonlinear and stochastic optimization

Saeed Ghadimi|arXiv (Cornell University)|Feb 2, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用数 4

ひとこと要約

本稿は、弱い滑らかさと強い凸性を併せ持つ項を含む合成非線形・確率的最適化のための条件付き勾配型（CGT）手法を導入する。非凸および凸問題の両方において最適な反復回数の複雑さを達成し、パラメータ推定を回避するバリエーションを備えつつ、低コストの反復を維持する。また、ノイズのある勾配情報が利用可能な確率的設定へと拡張され、弱い滑らかさ、非凸、強い凸問題における複雑さの上限が向上する。

ABSTRACT

In this paper, we present a conditional gradient type (CGT) method for solving a class of composite optimization problems where the objective function consists of a (weakly) smooth term and a (strongly) convex regularization term. While including a strongly convex term in the subproblems of the classical conditional gradient (CG) method improves its rate of convergence, it does not cost per iteration as much as general proximal type algorithms. More specifically, we present a unified analysis for the CGT method in the sense that it achieves the best-known rate of convergence when the weakly smooth term is nonconvex and possesses (nearly) optimal complexity if it turns out to be convex. While implementation of the CGT method requires explicitly estimating problem parameters like the level of smoothness of the first term in the objective function, we also present a few variants of this method which relax such estimation. Unlike general proximal type parameter free methods, these variants of the CGT method do not require any additional effort for computing (sub)gradients of the objective function and/or solving extra subproblems at each iteration. We then generalize these methods under stochastic setting and present a few new complexity results. To the best of our knowledge, this is the first time that such complexity results are presented for solving stochastic weakly smooth nonconvex and (strongly) convex optimization problems.

研究の動機と目的

• 弱い滑らかさと強い凸性を有する項を含む合成最適化問題に対する統一的な条件付き勾配型（CGT）手法の開発。
• 非凸弱い滑らかさ問題に対して最良の既知の反復回数の複雑さを達成し、問題が凸である場合に近似的に最適なレートを達成すること。
• 滑らかさパラメータの明示的推定を回避するが、追加の計算コストなしに実現するパラメータフリーのバリエーションの設計。
• ノイズのある勾配情報のみが利用可能な確率的設定へCGTフレームワークを拡張すること。
• 弱い滑らかさ、非凸、強い凸問題における確率的最適化問題のための新しい複雑さの上限の確立。

提案手法

• 滑らかな項の線形近似と正則化項の和を、凸集合上での最小化により部分問題を解く。これにより、プロキマルに類似した部分問題を回避する。
• 問題パラメータに基づくバックトラッキングラインサーチまたは固定ステップサイズを用い、勾配マッピングとブレグマン距離を含む降下不等式を用いて収束を分析する。
• 主な構成要素として、勾配マッピング $ g_{X,k} $、列挙 $ y_k $、および更新則 $ x_k = (1 - \alpha_k) y_{k-1} + \alpha_k s_k $（ここで $ s_k $ は線形部分問題を解く）を含む。
• 確率的設定では、バッチ化された勾配を用いた確率的オракルアクセスを用い、期待される最適性と停留性を分析する。
• 複数回の実行と解の選択を用いて大偏差の上限を改善する二段階のバリエーションを提案する。
• 理論的分析は、勾配のホルダー連続性と正則化項の強凸性（パrameter $ \mu \geq 0 $）に依存する。

実験結果

リサーチクエスチョン

• RQ1 条件付き勾配型手法は、弱い滑らかさを持つ非凸合成問題に対して最適な反復回数の複雑さを達成できるか？
• RQ2 このような手法は、滑らかさパラメータの明示的知識なしに、低コストの反復を維持できるか？
• RQ3 ノイズのある勾配情報が利用可能な確率的設定下でのCGT手法の反復回数の複雑さはいかほどか？
• RQ4 この手法は、凸性に自動的に適応できるように統一され、非凸および凸の両状態で最適なレートを達成できるか？
• RQ5 弱い滑らかさを持つ確率的最適化問題に対して、既存の一次元手法と比較して、この確率的バリエーションの複雑さはどの程度か？

主な発見

• CGT手法は、非凸弱い滑らかさ問題において $ \mathcal{O}(1/\epsilon) $ の反復回数の複雑さを達成し、最も良い既知の境界と一致する。
• 凸弱い滑らかさ問題では、$ \mathcal{O}(1/\epsilon^{\frac{1-\nu}{1+3\nu}}) $ の複雑さを達成し、対数的要因を除いて最適な境界と一致する。
• 滑らかさのケース（$ \nu = 1 $）では、確率的バリエーションが非凸問題に対して $ \mathcal{O}(1/\epsilon^2) $ のオラクル複雑さを達成し、対数的要因を除いて最適である。
• 関数 $ f $ が凸かつ滑らかである場合、確率的手法は $ \mathcal{O}(1/\epsilon \log(1/\epsilon)) $ の複雑さを達成し、対数的要因を除いて最適である。
• パラメータフリーのバリエーションは、$ L_\nu $ の推定を回避するが、追加の勾配計算や部分問題計算を伴わず、低コストの反復を維持する。
• 弱い滑らかさ、非凸、強い凸問題における確率的最適化のための最初の複雑さの上限が確立され、文献における空白を埋める。