[论文解读] A stroll in the jungle of error bounds

Trong Phong Nguyen|arXiv (Cornell University)|Apr 23, 2017

Sparse and Compressive Sensing Techniques参考文献 38被引用 3

一句话总结

本文通過確立 Łojasiewicz 梯度不等式的核心作用，為優化中的誤差界提供了統一框架。它描述了凸與非凸多項式函數的全域與局部誤差界，推導出對收斂速率分析與優化演算法複雜度理論至關重要的 Hölder 型界。

ABSTRACT

The aim of this paper is to give a short overview on error bounds and to provide the first bricks of a unified theory. Inspired by the works of [8, 15, 13, 16, 10], we show indeed the centrality of the Lojasiewicz gradient inequality. For this, we review some necessary and sufficient conditions for global/local error bounds, both in the convex and nonconvex case. We also recall some results on quantitative error bounds which play a major role in convergence rate analysis and complexity theory of many optimization methods.

研究动机与目标

• 透過識別 Łojasiewicz 梯度不等式為核心，建立誤差界在優化中統一的理論基礎。
• 在凸與非凸設定下，描述全域與局部誤差界之必要與充分條件。
• 針對多項式與分段凸多項式函數推導定量誤差界，特別是 Hölder 型界。
• 將誤差界與 Kurdyka–Łojasiewicz 不等式連結，並用於下降法的複雜度分析。
• 將經典結果（例如 Hoffman、Łojasiewicz）推廣至更廣泛的函數類別，包括非可微與非凸系統。

提出的方法

• 以 Łojasiewicz 梯度不等式作為統一原則，用於在度量空間中描述誤差界。
• 應用 Azé 與 Corvellec 對強坡度的結果，在一般 Banach 空間中推導誤差界的特徵化。
• 利用函數的子解析與半代數結構，透過 Łojasiewicz 型不等式建立定量誤差界。
• 使用與次數相關的指數，推導凸與分段凸多項式函數的 Hölder 型誤差界。
• 應用漸近錐條件與緊緻性論證，將全域誤差界推廣至約束集。
• 利用凸多項式函數及其漸近行為的最大值，於較弱假設下推導誤差界。

实验结果

研究问题

• RQ1 如何利用 Łojasiewicz 梯度不等式統一凸與非凸優化中誤差界理論？
• RQ2 以強坡度與度量次正則性表示時，全域或局部誤差界之必要與充分條件為何？
• RQ3 凸多項式函數（次數為 d）的精確定量誤差界形式為何？
• RQ4 在無 Slater 條件下，凸多項式不等式系統的全域誤差界在何種條件下成立？
• RQ5 分段凸多項式函數的誤差界如何依賴於底層多面體分割結構與函數次數？

主要发现

• 對於次數為 d 的凸多項式函數 f，存在 τ > 0，使得 dist(x, [f ≤ 0]) ≤ τ([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,ᵈ))，其中 k(n,d) 為維度與次數的函數。
• 對於滿足 coercivity 或凸性條件的分段凸多項式函數 f（次數為 d），相同的 Hölder 型界在全域成立。
• 對於凸二次函數系統，即使無 Slater 條件，全域誤差界仍存在且指數為 1/2，此結果由 Pang 與 Wang 展示。
• 對於定義於凸多面體集 K 上的凸多項式函數系統（次數為 d），若漸近錐條件成立，則對 x ∈ K 有 dist(x,S) ≤ c([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,²ᵈ))。
• Li [44] 與 Yang [73] 的結果顯示，對於凸多項式函數，指數可改進至 1/d，從而獲得更緊緻的界。
• 誤差界與 Kurdyka–Łojasiewicz 不等式之間的連結已明確定義，使得以誤差界指數為基礎，進行下降法的複雜度分析。