[論文レビュー] Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems

Qiuwei Li, Zhihui Zhu+2 more|arXiv (Cornell University)|Apr 22, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用数 19

ひとこと要約

本稿では、Bregman散発を用いて相対的滑らかさ条件に一般化されたリプシッツ滑らかさ条件を導入することで、非凸的かつ非リプシッツ滑らかな問題に対する、証明可能に収束する最適化手法を提案する。提案手法は、機械学習で一般的な高次多項式目的関数を含む任意の相対的滑らかさを持つ問題に対して、第二階停留点への収束を保証する。

ABSTRACT

The (global) Lipschitz smoothness condition is crucial in establishing the convergence theory for most optimization methods. Unfortunately, most machine learning and signal processing problems are not Lipschitz smooth. This motivates us to generalize the concept of Lipschitz smoothness condition to the relative smoothness condition, which is satisfied by any finite-order polynomial objective function. Further, this work develops new Bregman-divergence based algorithms that are guaranteed to converge to a second-order stationary point for any relatively smooth problem. In addition, the proposed optimization methods cover both the proximal alternating minimization and the proximal alternating linearized minimization when we specialize the Bregman divergence to the Euclidian distance. Therefore, this work not only develops guaranteed optimization methods for non-Lipschitz smooth problems but also solves an open problem of showing the second-order convergence guarantees for these alternating minimization methods.

研究の動機と目的

• 高次多項式目的関数を有する多くの機械学習問題において失敗する、グローバルなリプシッツ滑らかさ条件に依存する既存の最適化手法の限界を解消すること。
• Bregman散発を用いてリプシッツ滑らかさ条件を相対的滑らかさ条件に一般化し、非リプシッツ滑らか問題の収束解析を可能にすること。
• 任意の相対的滑らかさを持つ問題に対して第二階停留点への収束を保証する、新しいBregman散発に基づく最適化アルゴリズムの開発。
• プロキシマル交互最小化およびプロキシマル交互線形化最小化手法に対する第二階収束保証を確立する未解決問題の解決。

提案手法

• Bregman散発を用いた相対的滑らかさ条件を導入し、$ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $ と定義する。ここで $ h $ は強凸関数である。
• 相対的滑らかさ条件を用いて、各反復で目的関数値が十分に減少することを保証する、新しいBregman散発に基づく最適化アルゴリズムのクラスを提案する。
• Bregman散発生成関数 $ h $ の強凸性と相対的滑らかさ条件を活用することで、第二階停留点への収束保証を導出する。
• Bregman散発をユークリッド距離に特殊化することで、プロキシマル交互最小化およびプロキシマル交互線形化最小化を特別な場合として回復する。
• 低ランク行列回復、テンソル因子分解、ニューラルネットワーク学習など、リプシッツ滑らかでない問題に対しても、提案手法が収束することを確立する。
• 非凸的・非リプシッツ滑らか問題に高次多項式目的関数を扱うために、二重凸的Bregman散発生成関数 $ h(oldsymbol{x}, oldsymbol{y}) $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 一階および二階最適化手法の収束理論を、リプシッツ滑らかさ条件を超えて非リプシッツ滑らか問題へと拡張可能か？
• RQ2 Bregman散発による相対的滑らかさ条件を用いて、非凸的問題に対する第二階停留点への証明可能な収束を確立可能か？
• RQ3 プロキシマル交互最小化やプロキシマル交互線形化最小化といった既存の交互最小化手法が、相対的滑らかさ条件下で第二階収束保証を達成可能か？
• RQ4 提案されたBregman散発に基づくフレームワークは、テンソル因子分解やニューラルネットワーク学習における高次多項式目的関数を扱えるか？
• RQ5 Bregman散発生成関数 $ h $ が強凸であり、非リプシッツ滑らか問題の収束を可能にするための条件は何か？

主な発見

• 提案されたBregman散発に基づくアルゴリズムは、目的関数が非リプシッツ滑らかであっても、任意の相対的滑らかさを持つ問題に対して第二階停留点への収束が保証される。
• 相対的滑らかさ条件はリプシッツ滑らかさ条件を一般化したものであり、低ランク行列回復やテンソル因子分解に現れる有限次多項式目的関数すべてを満たす。
• Bregman散発をユークリッド距離に特殊化した場合、手法はプロキシマル交互最小化およびプロキシマル交互線形化最小化を回復し、それらの第二階収束保証の未解決問題を解決する。
• 高次多項式を含むテンソル因子分解問題に対して、構築された強二重凸Bregman生成関数 $ h $ に対する $ (L_1, L_2) $-相対的二重滑らかさが確立され、収束が保証される。
• 多項式目的関数を持つ問題に対して、$ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $ という一般的な相対的滑らかさ条件下で収束が証明され、これはグローバルに成立する。
• ヘッシアンのスペクトルノルムが有界である必要がないため、深層学習や信号処理における非リプシッツ滑らか問題にも適用可能である。