[論文レビュー] Recent Theoretical Advances in Non-Convex Optimization

М. А. Данилова, Pavel Dvurechensky+5 more|arXiv (Cornell University)|Dec 11, 2020

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本調査は、非凸最適化における最近の理論的進展を包括的に概説しており、一次、確率的、ゼロ次勾配法に対するグローバルな性能保証に焦点を当てている。ポリャク–ロジャシエフスキー条件やα-弱く擬凸性といった構造的仮定の下で収束速度を確立し、一般の非凸問題の非決定的性質にもかかわらず、停留在点を求める多項式時間の複雑度を可能にしている。

ABSTRACT

Motivated by recent increased interest in optimization algorithms for non-convex optimization in application to training deep neural networks and other optimization problems in data analysis, we give an overview of recent theoretical results on global performance guarantees of optimization algorithms for non-convex optimization. We start with classical arguments showing that general non-convex problems could not be solved efficiently in a reasonable time. Then we give a list of problems that can be solved efficiently to find the global minimizer by exploiting the structure of the problem as much as it is possible. Another way to deal with non-convexity is to relax the goal from finding the global minimum to finding a stationary point or a local minimum. For this setting, we first present known results for the convergence rates of deterministic first-order methods, which are then followed by a general theoretical analysis of optimal stochastic and randomized gradient schemes, and an overview of the stochastic first-order methods. After that, we discuss quite general classes of non-convex problems, such as minimization of $α$-weakly-quasi-convex functions and functions that satisfy Polyak--Lojasiewicz condition, which still allow obtaining theoretical convergence guarantees of first-order methods. Then we consider higher-order and zeroth-order/derivative-free methods and their convergence rates for non-convex optimization problems.

研究の動機と目的

• 一般の非凸問題が非決定的であることを踏まえ、非凸設定におけるグローバル最適化の理論的課題に取り組む。
• 一次法に対するグローバル収束保証を可能にする、非凸問題の構造的クラスを同定する。
• 停留在点の探索といった緩い目的を想定した場合の、決定的および確率的一次法の収束速度を分析する。
• 勾配フリー最適化を想定した高次およびゼロ次法への理論的分析を拡張する。
• 機械学習およびデータ解析の応用に関連する最近の理論的結果を統合的に概説する。

提案手法

• 古典的例を用いて、一般の非凸問題の非決定的性質を分析し、グローバル最小化がNP困難であることを示す。
• 緩和戦略を導入する：(1) 隐藏的凸性や問題構造を活用する、(2) グローバル最小値の代わりに停留在点を標的とする。
• ポリャク–ロジャシエフスキー条件の下で一次法の収束保証を確立し、グローバル線形収束を実現する。
• α-弱く擬凸関数の分析を行い、グローバルな非線形収束速度を達成する。
• 理論的分析を確率的およびランダム化勾配スキームに適用し、最適な収束速度を導出する。
• 勾配フリー設定（例：強化学習やブラックボックス攻撃）を想定したゼロ次法を検討し、導出された収束速度を提示する。

実験結果

リサーチクエスチョン

• RQ1 一般の非凸問題が非決定的であるにもかかわらず、非凸最適化におけるグローバル収束保証を確立できるか？
• RQ2 目的関数にどのような構造的仮定を課すことで、一次法のグローバル収束が可能になるか？
• RQ3 非凸設定における確率的およびランダム化一次法の最適な収束速度は何か？
• RQ4 高次およびゼロ次法は、理論的保証のもとで非凸最適化においてどのように性能を発揮するか？
• RQ5 温度を減少させるランジュバンダイナミクスは、非凸問題においてグローバル収束を保証するか？

主な発見

• ポリャク–ロジャシエフスキー条件は、一次法に対してグローバル線形収束を保証し、多項式時間の複雑度を可能にする。
• α-弱く擬凸関数に対しては、一次法が収束速度 O(1/√k) でグローバルな非線形収束を達成する。
• 適切な仮定のもとで、確率的一次法は最適な収束速度を達成し、複雑度は問題構造に依存する。
• ゼロ次法は、ブラックボックス攻撃やシミュレーション最適化といった勾配フリー設定において有効であり、導出された収束速度を有する。
• 温度を T_k = c / ln(2+k) として減少させるランジュバンダイナミクスは、極限においてグローバル最小値への収束を保証する。
• ヴァン・ダール・コルプシアンのような低不均一性の系列の使用により、初期点のカバレッジが向上し、d_n = O(√n m^{-1/n} ln m) を達成する。