[論文レビュー] A stroll in the jungle of error bounds

Trong Phong Nguyen|arXiv (Cornell University)|Apr 23, 2017

Sparse and Compressive Sensing Techniques参考文献 38被引用数 3

ひとこと要約

本稿は、Łojasiewicz勾配不等式の中心的役割を確立することで、最適化における誤差限界の統一的枠組みを提供する。凸および非凸多項式関数におけるグローバルおよびローカル誤差限界を特徴づけ、収束速度解析および最適化アルゴリズムの複雑性理論に不可欠なホルダー型限界を導出する。

ABSTRACT

The aim of this paper is to give a short overview on error bounds and to provide the first bricks of a unified theory. Inspired by the works of [8, 15, 13, 16, 10], we show indeed the centrality of the Lojasiewicz gradient inequality. For this, we review some necessary and sufficient conditions for global/local error bounds, both in the convex and nonconvex case. We also recall some results on quantitative error bounds which play a major role in convergence rate analysis and complexity theory of many optimization methods.

研究の動機と目的

• 誤差限界の理論的基盤を統一的に確立し、Łojasiewicz勾配不等式が中心的役割を果たすことを特定すること。
• 凸および非凸設定におけるグローバルおよびローカル誤差限界の必要十分条件を特徴づけること。
• 特にホルダー型のものである定量的誤差限界を、多項式関数および区分的凸多項式関数に対して導出すること。
• 誤差限界とKurdyka–Łojasiewicz不等式、勾配降下法の複雑性解析との関連を確立すること。
• 古典的結果（例：Hoffman、Łojasiewicz）を、非微分可能および非凸系を含むより広い関数クラスへと拡張すること。

提案手法

• metric空間における誤差限界を特徴づける統一的原則として、Łojasiewicz勾配不等式を用いる。
• AzéとCorvellecの強勾配に関する結果を応用し、一般のバナッハ空間における誤差限界の特徴づけを導出する。
• 関数の代数的およびサブアナリティック構造を用いて、Łojasiewicz型不等式を介して定量的誤差限界を確立する。
• 次数に依存する指数を用いて、凸および区分的凸多項式関数に対してホルダー型誤差限界を導出する。
• 再発錐条件およびコンパクト性の議論を用いて、制約付き集合へのグローバル誤差限界を拡張する。
• 凸多項式関数の最大値およびその再発挙動を用いて、弱い仮定のもとで誤差限界を導出する。

実験結果

リサーチクエスチョン

• RQ1 Łojasiewicz勾配不等式を用いて、凸および非凸最適化の両領域における誤差限界理論をどのように統一できるか？
• RQ2 強勾配およびメトリック部分正則性の観点から、グローバルまたはローカル誤差限界の必要十分条件は何か？
• RQ3 次数dの凸多項式関数に対する定量的誤差限界の明確な形は何か？
• RQ4 特にSlater条件が成立しない場合に、凸多項式不等式系に対してグローバル誤差限界が成立する条件は何か？
• RQ5 区分的凸多項式関数の誤差限界は、その背後にある多面体分割の構造および関数の次数にどのように依存するか？

主な発見

• 次数dの凸多項式関数fに対して、τ > 0が存在し、dist(x, [f ≤ 0]) ≤ τ([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,ᵈ))が成り立つ。ここでk(n,d)は次元と次数の関数である。
• 再発性または凸性条件を満たす次数dの区分的凸多項式関数fに対して、同じホルダー型限界がグローバルに成立する。
• 凸二次関数系に対しては、Slater条件がなくても指数1/2のグローバル誤差限界が存在する。PangとWangが示した。
• 凸多面体集合K上に次数dの凸多項式関数系があるとき、再発錐条件が成り立つならば、x ∈ Kに対してdist(x,S) ≤ c([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,²ᵈ))が成り立つ。
• Li [44]およびYang [73]の結果は、凸多項式関数に対して指数を1/dに改善できることを示しており、より緊密な限界が得られる。
• 誤差限界とKurdyka–Łojasiewicz不等式との関係が明確化され、誤差限界指数を用いた勾配降下法の複雑性解析が可能になった。