[論文レビュー] BFGS convergence to nonsmooth minimizers of convex functions

Jiayi Guo, Adrian S. Lewis|arXiv (Cornell University)|Mar 20, 2017

Advanced Optimization Algorithms Research参考文献 10被引用数 4

ひとこと要約

この論文は、滑らかでない凸関数に対するBFGS準ニュートン法のグローバル収束を、やや弱い正則性条件のもとで確立している。非微分可能点が解において存在しても、BFGS系列が最小化点に収束することを示している。主な貢献は、収束の失敗が反復点が滑らかでない点に近づく場合にのみ生じることを証明し、特にユークリッドノルムや $f(u,v) = u^2 + |v|$ のような重要なケースでは収束を保証できることを示している。解析は、部分レベル集合近辺における $C^2$ 近似に基づく局所化補題を用いて、ポーゲルの古典的滑らかさにおける収束結果を滑らかでない設定に拡張している。

ABSTRACT

The popular BFGS quasi-Newton minimization algorithm under reasonable conditions converges globally on smooth convex functions. This result was proved by Powell in 1976: we consider its implications for functions that are not smooth. In particular, an analogous convergence result holds for functions, like the Euclidean norm, that are nonsmooth at the minimizer.

研究の動機と目的

• 滑らかな凸関数に対するポーゲルのBFGSのグローバル収束結果を、滑らかでない場合に拡張すること。
• 理論的支援が限られているにもかかわらず、BFGSが滑らかでない問題においてなぜ実務でうまく機能するのかを説明すること。
• 目的関数が解において微分可能でない場合でも、BFGS系列が最小化点に収束する条件を確立すること。
• 局所的な $C^2$ 近似を用いて、ユークリッドノルムや $f(u,v) = u^2 + |v|$ のような特定の滑らかでない関数に対する収束を証明すること。
• BFGS反復点が滑らかでない点から一様に離れてはいられず、非微分可能性を検出できることを示すこと。

提案手法

• Armijoおよび弱 Wolfe線探索条件を満たし、ヘッセ行列の近似にBFGS式を用いた更新を行うBFGS系列を定義する。
• BFGS更新式を用いる：$ H_{k+1} = V_k H_k V_k^T + \frac{s_k s_k^T}{s_k^T y_k} $、ここで $ V_k = I - \frac{s_k y_k^T}{s_k^T y_k} $ であり、正定値性と降下性を保証する。
• 部分レベル集合の近傍で、元の滑らかでない関数 $f$ に対する局所的 $C^2$ 凸近似 $f_\delta$ を導入し、$f(x) \geq \min f + \delta$ である点で $f$ と一致させる。
• $C^2$ 近似 $f_\delta$ にポーゲルの元の収束定理を適用し、BFGS系列が最小化点から離れていると仮定すると、$f_\delta$ がその最小値に収束するという事実と矛盾することを示す。
• 背理法を用いる：BFGS反復点が最小化点から一様に離れていると仮定すると、$C^2$ 近似 $f_\delta$ は $\min f$ より小さい値に収束することになり、これは不可能である。
• ユークリッドノルムおよび $f(u,v) = u^2 + |v|$ に対して、明示的な $C^2$ 近似 $g_\delta(t)$ を構築し、原点の近傍を除いて元の関数と一致させることで収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない凸関数の最小化点に、BFGS法がグローバルに収束できるか、特に解において微分可能でない場合でもそうか？
• RQ2 滑らかでない性質がある中で、BFGS法が非最適点に収束するのを避ける条件は何か？
• RQ3 近似技術を用いて、滑らかな凸関数に対するポーゲルの古典的収束結果を滑らかでない凸関数に拡張可能か？
• RQ4 BFGS法は、滑らかでない最小化点（例：$f(u,v) = u^2 + |v|$ の原点）を検出し、収束できるか？
• RQ5 非微分性が原点に存在するにもかかわらず、$\mathbb{R}^n$ 上のユークリッドノルムに対してBFGS法で収束を保証できるか？

主な発見

• $f(u,v) = u^2 + |v|$ に対するBFGS系列は、関数が滑らかでない点である $v = 0$ の直線に部分列が収束する必要がある。
• $\mathbb{R}^n$ 上のユークリッドノルムに対して、任意のBFGS系列はグローバルにゼロ、唯一の最小化点に収束する。
• BFGS法は滑らかでない点の集合から一様に離れてはいられず、それらを避けると最小値への収束が失敗する。
• 部分レベル集合の $\delta$-近傍を除いて $f$ と一致する $C^2$ 凸近似 $f_\delta$ を構築することで、ポーゲルの滑らかな収束定理の適用が可能になる。
• $f(u,v) = u^2 + |v|$ に対して、数値的証拠はゼロへの収束を強く支持しているが、これはまだ未解決の予想のままである。
• この結果は、BFGS法が非微分性を効果的に検出できることを示しており、最小化点が滑らかでない場合、非最適点に収束することはできない。