[論文レビュー] Methods of Nonconvex Optimization

V. S. Mikhalevich, A. M. Gupal+1 more|arXiv (Cornell University)|Jun 14, 2024

Advanced Optimization Algorithms Research被引用数 40

ひとこと要約

有限次元の非凸かつ非滑らかな最適化の包括的概要を提示し、一般化微分可能関数と、サブグラディエント手法を非凸設定へ拡張する数値法を紹介。確率的・ランダム化アプローチを含む。

ABSTRACT

This book is devoted to finite-dimensional problems of non-convex non-smooth optimization and numerical methods for their solution. The problem of nonconvexity is studied in the book on two main models of nonconvex dependencies: these are the so-called generalized differentiable functions and locally Lipschitz functions. Non-smooth functions naturally arise in various applications. In addition, they often appear in the theory of extremal problems itself due to the operations of taking the maximum and minimum, decomposition techniques, exact non-smooth penalties, and duality. The considered models of nonconvexity are quite general and cover the majority of practically important optimization problems; they clearly show all the difficulties of non-convex optimization. The method of studying the generalized differentiable functions is that for these functions a generalization of the concept of gradient is introduced, a calculus is constructed, and various properties of nonconvex problems are studied in terms of generalized gradients. As for numerical methods, it is possible to extend the theory and algorithms of subgradient descent of convex optimization to problems with generalized differentiable functions. Methods for solving Lipschitz problems are characterized by the fact that the original functions are approximated by smoothed ones and iterative minimization procedures are applied to them. With this approach, it is possible to approximate the gradients of smoothed functions by stochastic finite differences and thus to construct methods without calculating gradients. A similar approach can be justified in generalized differentiable and Lipschitz stochastic programming. In these cases, various generalizations of the classical stochastic approximation and stochastic quasi-gradient method are obtained for solving constrained nonconvex nonsmooth stochastic programming problems.

研究の動機と目的

• 有限次元の非凸かつ非滑らかな最適化の研究を動機づけ、形式化する。
• 非凸解析と微分積分の広範な枠組みとして一般化微分可能関数を導入する。
• 勾配ベース手法を非凸かつ非滑らかな問題へ拡張する数値法を開発・調査する。

提案手法

• 一般化微分可能関数と一般化勾配（疑似勾配）を、展開式 f(y)=f(x)+<g,y−x>+o(x,y,g) を用いて定義する。
• 一般化勾配の局所リプシッツ連続性と微積分則（連鎖律や最大/最小演算を含む）を示す。
• ランダム方向と平均化戦略によって、明示的な勾配を必要としない有限差分法と確率的勾配法を開発する。
• 制約と緩和スキームを伴う非凸非滑らかな問題へ勾配降下型手法を拡張する。
• 滑らか化技術と緩和概念を導入して、非凸最適化アルゴリズムを構築・分析する。
• リプシッツ性および一般化微分可能関数に対する確率的一般化勾配と平均化手法を含む確率的拡張を検討する。

実験結果

リサーチクエスチョン

• RQ1 勾配を一般化する統一フレームワークの下で、非凸かつ非滑らかな最適化をどのように研究できるか。
• RQ2 厳密な勾配を必要とせず一般化微分可能関数を最小化するには、どのような数値法があるか。
• RQ3 確率的・ランダム化技術は、非凸最適化アルゴリズムを不確かな状況へどのように拡張するか。
• RQ4 制約付きの非凸状況において、一般化勾配法が収束する条件は何か。
• RQ5 グローバル最適化の側面を局所的な一般化勾配法とどう統合できるか。

主な発見

• 一般化微分可能関数は、連続微分可能、凸、セミ滑らかな関数を含む広範な局所リプシッツ枠組みを提供する。
• 一般化勾配（疑似勾配）微分法は、古典的勾配と同様の展開と収束解析を非凸非滑らかな問題に対して可能にする。
• ランダム化有限差分方向は一般化勾配を近似し、明示的な勾配計算なしに定常点へ導くことができる。
• 平均化と非単調下降方向（ヘビーボールとガリー・ステップ）は非凸設定で逆回帰を抑制し、収束性を改善する。
• 緩和、滑らか化、ペナルティ法は、非凸非滑らかな最適化を制約付き問題へ拡張する。
• 確率的一般化勾配と平均化技術は、確率的およびリプシッツ性最適化問題の収束フレームワークを提供する。