[論文レビュー] Generalized Uniformly Optimal Methods for Nonlinear Programming

Saeed Ghadimi, Guanghui Lan+1 more|arXiv (Cornell University)|Aug 29, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用数 13

ひとこと要約

本稿では、勾配降下または準ニュートンステップを統合することで、加速勾配法やバンドルレベル法などの一様に最適な凸最適化手法を、滑らかさや凸性が異なる非凸非線形計画問題へ一貫して拡張する統一フレームワークを提案する。目的関数値の単調減少を保証することで、非凸設定下でも収束を確保し、非凸問題では既知の最良の収束速度、凸問題では最適な収束速度を達成する。問題固有のパラメータを必要とせず、パラメータフリーな手法を実現する。

ABSTRACT

In this paper, we present a generic framework to extend existing uniformly optimal convex programming algorithms to solve more general nonlinear, possibly nonconvex, optimization problems. The basic idea is to incorporate a local search step (gradient descent or Quasi-Newton iteration) into these uniformly optimal convex programming methods, and then enforce a monotone decreasing property of the function values computed along the trajectory. Algorithms of these types will then achieve the best known complexity for nonconvex problems, and the optimal complexity for convex ones without requiring any problem parameters. As a consequence, we can have a unified treatment for a general class of nonlinear programming problems regardless of their convexity and smoothness level. In particular, we show that the accelerated gradient and level methods, both originally designed for solving convex optimization problems only, can be used for solving both convex and nonconvex problems uniformly. In a similar vein, we show that some well-studied techniques for nonlinear programming, e.g., Quasi-Newton iteration, can be embedded into optimal convex optimization algorithms to possibly further enhance their numerical performance. Our theoretical and algorithmic developments are complemented by some promising numerical results obtained for solving a few important nonconvex and nonlinear data analysis problems in the literature.

研究の動機と目的

• 凸性や滑らかさの異なる一般非線形計画問題を解くための一貫性があり、パラメータフリーな手法の不足を解消すること。
• 元々凸性を仮定していた一様に最適な凸最適化アルゴリズムを、非凸設定へ拡張すること。
• 凸問題では最適な収束速度を維持し、非凸問題では既知の最良の収束速度を達成するフレームワークの構築。
• 局所探索ステップ（勾配降下または準ニュートン）を最適な凸手法に統合し、実用的性能を向上させること。
• 凸集合上に Hölder連続な勾配関数と単純な凸正則化項を含む複合問題を統一的に取り扱うフレームワークの構築。

提案手法

• 加速勾配法やバンドルレベル法などの一様に最適な凸最適化アルゴリズムに、勾配降下または準ニュートンステップを統合する。
• 各反復で目的関数値の単調減少性を保証することで、非凸設定下での収束を確保する。
• 滑らかさパラメータ $ H $ や Hölder指数 $ \nu $ などの問題パラメータに依存しない、新しいステップサイズ方策を採用する。
• 加速勾配（AG）および加速レベル（AL）法の両方への適用により、非凸問題への適用範囲を拡張する。
• 標準的な勾配ステップを準ニュートン更新に置き換えることで、局所収束性と数値的性能を向上させる。
• 非凸問題に適した、射影勾配の停止基準 $ \|g_{X,k}\| \leq \epsilon $ を用いて収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 一様に最適な凸最適化手法を、問題パラメータを必要とせずに非凸問題へ拡張できるか？
• RQ2 Hölder連続な勾配を持つ非凸非線形計画問題において、達成可能な最良の収束速度は何か？
• RQ3 局所探索ステップ（例：勾配降下や準ニュートン）を最適な凸手法に統合することで、グローバル収束を維持しつつ性能を向上させられるか？
• RQ4 同一のアルゴリズムフレームワークが、凸問題と非凸問題の両方を同じ収束保証で取り扱えるか？
• RQ5 準ニュートンステップの導入が、データ解析応用における一様に最適な手法の実用的性能に与える影響は何か？

主な発見

• 提案手法は、$ \nu = 0 $ の非凸問題に対して、既知の下界に一致する $ \mathcal{O}(1/\epsilon^{2}) $ の最良の既知の収束速度を達成する。
• 滑らかな非凸問題（$ \nu = 1 $）では、$ \mathcal{O}(1/\sqrt{\epsilon}) $ の複雑度を達成し、これが最適である。
• 凸の場合には、$ \nu $ や $ H $、反復回数制限 $ N $ の入力が不要であり、最適な複雑度境界を回復するため、一様に最適である。
• シグモイドSVM問題における数値実験では、UPFAGおよびUFAPL手法が標準的なPGおよびUAGより高速に収束し、$ m=1000, n=2000 $ の場合にUPFAGは583反復で $ \|g_X\| < 10^{-5} $ を達成した。
• 準ニュートンステップの導入（例：UPFAG-fullやUFAPL）により収束速度が向上し、$ m=2000, n=4000 $ の場合にUFAPLはわずか100反復で $ \|g_X\| < 10^{-5} $ を達成した。
• すべてのテストインスタンスにおいて、目的関数値と分類誤差が低く保たれ、高精度レベルで誤差が最適値付近に安定化した（例：$ m=1000, n=2000 $ の場合に約31%）。