[論文レビュー] The restricted strong convexity revisited: Analysis of equivalence to error bound and quadratic growth

Hui Zhang|arXiv (Cornell University)|Nov 5, 2015

Advanced Optimization Algorithms Research参考文献 17被引用数 5

ひとこと要約

この論文は、Ekelandの変分原理を用いて、凸最適化における制限付き強い凸性（RSC）、グローバル誤差境界（GEB）、二次的成長（QG）の性質の等価性を確立する。勾配およびProximal勾配写像を用いてこれらの概念を拡張し、勾配-Lipschitz連続性の下でその等価性が保たれることを証明する。また、Proximal勾配法の新たな漸近的線形収束結果を導出し、多面体集合上でのアフィン合成強い凸関数への応用を含む。

ABSTRACT

The restricted strong convexity is an effective tool for deriving globally linear convergence rates of descent methods in convex minimization. Recently, the global error bound and quadratic growth properties appeared as new competitors. In this paper, with the help of Ekeland's variational principle, we show the equivalence between these three notions. To deal with convex minimization over a closed convex set and structured convex optimization, we propose a group of modified versions and a group of extended versions of these three notions by using gradient mapping and proximal gradient mapping separately, and prove that the equivalence for the modified and extended versions still holds. Based on these equivalence notions, we establish new asymptotically linear convergence results for the proximal gradient method. Finally, we revisit the problem of minimizing the composition of an affine mapping with a strongly convex differentiable function over a polyhedral set, and obtain a strengthened property of the restricted strong convex type under mild assumptions.

研究の動機と目的

• 制限付き強い凸性（RSC）、グローバル誤差境界（GEB）、二次的成長（QG）の性質が凸最小化において理論的に等価であることを確立すること。
• 構造的・制約付き凸最適化問題に対して、勾配およびProximal勾配写像を用いてこれらの3つの概念を拡張すること。
• 目的関数が勾配-Lipschitz連続であるという仮定のもとで、RSC、GEB、QGの等価性が保たれることを示すこと。
• これらの性質の等価性に基づいて、Proximal勾配法の新たな漸近的線形収束結果を導出すること。
• コンpact性を要件としない条件下で、多面体集合上でのアフィン写像と強い凸微分可能関数の合成を最小化する問題に対して、強化されたRSC型性質を導出すること。

提案手法

• Ekelandの変分原理を用いて、非制約凸最適化におけるRSC、GEB、QGの性質の等価性を証明する。
• 制約付き・構造的凸問題のための、勾配写像およびProximal勾配写像を用いたRSC、GEB、QGの修正・拡張版を導入する。
• 目的関数が勾配-Lipschitz連続である場合、これらの修正・拡張版の間の等価性が成立することを確立する。
• この等価性を応用して、Proximal勾配法の新たな収束結果を導出し、これらの条件下で漸近的線形収束が成立することを示す。
• 特定の問題クラス——多面体集合上でのアフィン写像と強い凸微分可能関数の合成の最小化——を、Hoffmanの誤差境界と強い凸性を用いて分析し、強化されたRSC型性質を導出する。
• Proximal勾配写像と特異値ノルムを含む重要な不等式を用いて、関数の成長と降下行動を制御する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化において、制限付き強い凸性、グローバル誤差境界、二次的成長の性質は等価であるか？
• RQ2 制約付きまたは構造的最適化において、勾配およびProximal勾配写像を用いる場合、RSC、GEB、QGの等価性は保たれるか？
• RQ3 目的関数が勾配-Lipschitz連続であるという仮定のもとで、この等価性は成立するか？
• RQ4 これらの等価性の性質が満たされる場合、Proximal勾配法の収束速度はどのように保証されるか？
• RQ5 多面体集合上でのアフィン写像と強い凸関数の合成に対して、強化されたRSC型性質を導出できるか？

主な発見

• 凸性および微分可能性の下で、Ekelandの変分原理を用いて、制限付き強い凸性、グローバル誤差境界、二次的成長の3つの概念が等価であることが証明された。
• 勾配写像およびProximal勾配写像を用いて定義されたRSC、GEB、QGの修正・拡張版は、目的関数が勾配-Lipschitz連続である限り、等価性を保つ。
• これらの性質の等価性に基づいて、Proximal勾配法の新たな漸近的線形収束結果が確立された。
• 関数 $ f(x) = g(Ex) $ を最小化する問題で $ g $ が強い凸かつ微分可能である場合、コンパクト性を要件としない条件下で、多面体集合上に強化されたRSC型性質が成立する。
• 拡張されたGEBとQGの性質の間の等価性が明示的な定数を用いて確立された：任意の $ au \neq \theta $ に対して $ ext{eGEB}( heta, \rho) $ は $ ext{eQG}(\tau, \rho) $ を含意し、逆に $ \theta = \frac{\tau \rho^2}{(2\rho + \tau)(\rho + L)} $ のとき、逆も成り立つ。
• 関数減少の新たな下界が導出された：$ f(x) - f(x_Q) \rangle \frac{1}{2\theta} \| G^f_Q(\bar{x}; \theta) \|^2 + \frac{\mu}{2} \| Ex - E\bar{x} \|^2 $、これは強い凸性およびLipschitz勾配の下で降下条件を強化する。