[論文レビュー] Iteration Bounds for Finding the $\epsilon$-Stationary Points for Structured Nonconvex Optimization

Bo Jiang, Shuzhong Zhang|arXiv (Cornell University)|Oct 15, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、構造化された非凸目的関数を伴うブロック構造非凸最適化のための、近接条件勾配法および近接勾配射影法を提案する。本稿は、このような問題に適した新しいϵ-停留性の概念を導入し、勾配の一般化されたホルダー連続性条件下で、反復回数の複雑さの上限がO(1/ϵ^q)であることを確立する。目的関数が凹関数の場合には、O(1/ϵ)に改善される。これらの手法はテンソル近似およびスパーステンソルPCAに適用され、有望な数値結果が得られた。

ABSTRACT

In this paper we study proximal conditional-gradient (CG) and proximal gradient-projection type algorithms for a block-structured constrained nonconvex optimization model, which arises naturally from tensor data analysis. First, we introduce a new notion of $\epsilon$-stationarity, which is suitable for the structured problem under consideration. %, compared with other similar solution concepts. We then propose two types of first-order algorithms for the model based on the proximal conditional-gradient (CG) method and the proximal gradient-projection method respectively. If the nonconvex objective function is in the form of mathematical expectation, we then discuss how to incorporate randomized sampling to avoid computing the expectations exactly. For the general block optimization model, the proximal subroutines are performed for each block according to either the block-coordinate-descent (BCD) or the maximum-block-improvement (MBI) updating rule. If the gradient of the nonconvex part of the objective $f$ satisfies $\| abla f(x) - abla f(y)\|_q \le M \|x-y\|_p^\delta$ where $\delta=p/q$ with $1/p+1/q=1$, then we prove that the new algorithms have an overall iteration complexity bound of $O(1/\epsilon^q)$ in finding an $\epsilon$-stationary solution. If $f$ is concave then the iteration complexity reduces to $O(1/\epsilon)$. Our numerical experiments for tensor approximation problems show promising performances of the new solution algorithms.

研究の動機と目的

• テンソルデータ解析に生じる制約付き、ブロック構造的、非凸最適化問題に対処すること。
• 非凸的で滑らかでない、ブロック最適化モデルに適した新しいϵ-停留性の概念を定義すること。
• 反復回数複雑さの上限が保証された1次元アルゴリズム—近接条件勾配法および近接勾配射影法—を開発すること。
• 目的関数に数学的期待値を含む確率的設定において、ランダムサンプリングを統合して、完全な勾配の正確な計算を避けること。
• スパーステンソルPCAおよび罰則付きゼロ分散線形判別分析問題において、アルゴリズムを分析・検証すること。

提案手法

• すべてのy ∈ Sに対して∇f(x)⊤(y−x) + h(y)−h(x) ≥ −ϵを満たす、新しいϵ-停留性条件を定義。これは、非凸的で滑らかでない制約付き設定に一般化された標準停留性を拡張する。
• 2つのアルゴリズムフレームワークを構築：近接条件勾配法および近接勾配射影法。両者とも、BCDまたはMBIルールによるブロック単位の更新を用いる。
• 勾配に一般化されたホルダー連続性条件を課す：∥∇f(x)−∇f(y)∥_q ≤ M∥x−y∥_p^δ で、δ = p/q かつ 1/p + 1/q = 1 を満たす。
• 確率的設定において期待値を近似するためにランダムサンプリングを適用し、完全な勾配の正確な計算を回避する。
• スパーステンソルPCAにおけるL1正則化付き部分問題に対して、閉形式解を有する近接サブルーチンを用い、効率的な実装を可能にする。
• 適応的ステップサイズを用いたラインサーチ戦略を採用し、等式制約および不等式制約の両方の定式化にアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 ブロック構造的で非凸的で滑らかでない制約付き最適化問題に適した、ϵ-停留性の適切な概念とは何か？
• RQ2 このような構造化された非凸問題に対して、1次元手法が改善された反復回数複雑さの上限を達成できるか？
• RQ3 非凸部の滑らかさ、特に勾配の一般化されたホルダー連続性下での反復回数複雑さはどのように依存するか？
• RQ4 ランダムサンプリングは、確率的非凸最適化の近接アルゴリズムに効果的に統合できるか？
• RQ5 実際のテンソルおよび分類問題において、BCD や ADMM といった既存手法と比較して、提案手法のアルゴリズムはどのように性能を発揮するか？

主な発見

• 提案された近接条件勾配法および勾配射影法は、勾配の一般化されたホルダー連続性条件下で、ϵ-停留解を求めるにあたり、全体の反復回数複雑さがO(1/ϵ^q)であることを達成した。
• 非凸部fが凹関数の場合、反復回数複雑さはO(1/ϵ)に低下し、これは最適であり、凸設定における既知の境界と一致する。
• スパーステンソルPCAにおける数値実験では、アルゴリズム5（近接条件勾配法）が最も安定しており、数100回の反復以内に非ゼロの局所的最小値を一貫して特定した。
• アルゴリズム6（近接勾配射影法）は、スパーステンソルPCAにおいて頻繁に自明なゼロ解に収束するため、スパースネス促進正則化子の取り扱いに限界があることが示された。
• 罰則付きゼロ分散線形判別分析において、アルゴリズム1（α_k = 1）はADMMと同一の解に収束したが、はるかに少ない反復回数で到達したため、収束速度の優位性が示された。