[論文レビュー] Local and Global Uniform Convexity Conditions

Thomas Kerdreux, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Feb 9, 2021

Sparse and Compressive Sensing Techniques参考文献 82被引用数 5

ひとこと要約

本稿は、有限次元最適化における実行可能集合の局所的・グローバルな一様凸性条件を導入し、バナッハ空間の幾何的性質と一次最適化手法の収束解析を橋渡しする。局所的一様凸性が、滑らかさ定数を事前に知らないままでも、無知ステップサイズを用いたFrank-Wolfeアルゴリズムにおいて加速収束率を達成できることを示しており、$p > 3$ の場合に $\/mathcal{O}(1/k^{(p+1)/(p-1)})$、$p=3$ の場合に $\/mathcal{O}(\log k / k^2)$、$p \in [2,3)$ の場合に $\/mathcal{O}(1/k^2)$ を達成する。

ABSTRACT

We review various characterizations of uniform convexity and smoothness on norm balls in finite-dimensional spaces and connect results stemming from the geometry of Banach spaces with extit{scaling inequalities} used in analysing the convergence of optimization methods. In particular, we establish local versions of these conditions to provide sharper insights on a recent body of complexity results in learning theory, online learning, or offline optimization, which rely on the strong convexity of the feasible set. While they have a significant impact on complexity, these strong convexity or uniform convexity properties of feasible sets are not exploited as thoroughly as their functional counterparts, and this work is an effort to correct this imbalance. We conclude with some practical examples in optimization and machine learning where leveraging these conditions and localized assumptions lead to new complexity results.

研究の動機と目的

• 有限次元空間における実行可能集合の局所的およびグローバルな一様凸性条件を形式化・統一すること。
• 関数的強い凸性に比べて未だ十分に活用されていない集合に基づく強い凸性を活用するギャップを埋めること。
• 制約集合の局所的一様凸性が、投影フリー手法（例：Frank-Wolfe）における加速収束を可能にすることを示すこと。
• 特にオンライン学習および機械学習において、局所的曲率仮定の下での一次最適化手法の新たな複雑度バウンドを提供すること。
• 最適化収束理論におけるスケーリング不等式と関連づけて、バナッハ空間の幾何的性質と収束理論を結びつけること。

提案手法

• 部分勾配とノルムを含むスケーリング不等式を用いて、グローバル一様凸性を一般化する局所的一様凸性条件を提案する。
• グローバルスケーリング定理を適用し、局所的曲率仮定の下でFrank-Wolfe法における反復点間の距離のバウンドを導出する。
• ゲージ関数を用いて中心対称な凸体上にノルムに類似した構造を定義し、ノルムに基づく解析を可能にする。
• 固定ステップサイズ $\alpha_k = 2/(k+2)$ を用いたAway-Step Frank-Wolfe (PAFW) アルゴリズムの収束レートを導出する。このレートは滑らかさ定数に依存しない。
• 局所的強い凸性と局所的一様凸性の同値性を確立し、既知の加速領域を局所的一様凸集合へ拡張する。
• コーシー・シュワルツと和分推定を用いて、累積的反復点のずれをバウンドし、目的関数誤差と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 実行可能集合の局所的一様凸性は、一次最適化における収束率とどのように特徴づけられ、関連づけられるか？
• RQ2 局所的曲率仮定は、投影フリー手法（例：Frank-Wolfe）の収束にどのような影響を及えるか？
• RQ3 制約集合が一様凸であるがグローバルに強く凸でない場合、無知ステップサイズを用いても加速収束率を達成できるか？
• RQ4 機械学習およびオンライン学習における複雑度バウンドの観点から、局所的一様凸性条件とグローバル一様凸性条件はどのように比較されるか？
• RQ5 スケーリング不等式とノルム双対は、実行可能集合の曲率を特徴づける上で果たす役割は何か？

主な発見

• 本稿は、滑らかさ定数 $L$ を事前に知らない状態でも、固定ステップサイズ $\alpha_k = 2/(k+2)$ を用いたAway-Step Frank-Wolfeアルゴリズムにおいて、制約集合の局所的一様凸性が加速収束をもたらすことを示している。
• $p > 3$ の場合、収束レートは $\mathcal{O}(1/k^{(p+1)/(p-1)})$ であり、先行研究におけるグローバル一様凸性のもとでの $\mathcal{O}(1/T^{1/(1-2/p)})$ レートよりも厳密に速い。
• $p = 3$ の場合、レートは $\mathcal{O}(\log k / k^2)$ であり、$p \in [2,3)$ の場合、$\mathcal{O}(1/k^2)$ である。後者のレートは指数部において $p$ に依存しない。
• 収束バウンドは勾配の双対ノルムの下界 $c > 0$ と一様凸性パラメータ $\alpha$ に依存しており、より強い曲率がより速い収束をもたらすことを示している。
• 局所的一様凸性のもとで、$\|v_1 - v_2\| \leq \frac{1}{(2\alpha c)^{1/(p-1)}} \|d_1 - d_2\|^{1/(p-1)}$ が成り立つことが判明し、これにより反復点のずれのより緊密なバウンドが可能になる。
• 結果として、局所的曲率仮定が、集合がグローバルに強く凸でない場合でも、グローバルな場合と同等の加速レートを達成できることを示しており、加速収束の適用範囲をより広い実行可能集合のクラスへ拡張している。