[論文レビュー] A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization

Minghan Yang, Andre Milzarek+2 more|arXiv (Cornell University)|Oct 21, 2019

Sparse and Compressive Sensing Techniques参考文献 122被引用数 6

ひとこと要約

本稿では、滑らかでない非凸最適化のための確率的エクストラステップ準ニュートン法を提案する。この手法は、確率的高階のステップと追加のプロキシマル勾配ステップを組み合わせることで、期待値における局所最適解へのグローバル収束を保証する。この方法は、$$𝕃(N^{2/3}/\varepsilon)$$ のインクリメンタル一次オракル（IFO）複雑度を達成し、大規模なロジスティック回帰およびディープラーニングタスクにおいて、一次の手法を上回る性能を発揮する。

ABSTRACT

In this paper, a novel stochastic extra-step quasi-Newton method is developed to solve a class of nonsmooth nonconvex composite optimization problems. We assume that the gradient of the smooth part of the objective function can only be approximated by stochastic oracles. The proposed method combines general stochastic higher order steps derived from an underlying proximal type fixed-point equation with additional stochastic proximal gradient steps to guarantee convergence. Based on suitable bounds on the step sizes, we establish global convergence to stationary points in expectation and an extension of the approach using variance reduction techniques is discussed. Motivated by large-scale and big data applications, we investigate a stochastic coordinate-type quasi-Newton scheme that allows to generate cheap and tractable stochastic higher order directions. Finally, the proposed algorithm is tested on large-scale logistic regression and deep learning problems and it is shown that it compares favorably with other state-of-the-art methods.

研究の動機と目的

• 完全勾配の評価が計算コストが高いために非現実的となる大規模なビッグデータ最適化問題に対処すること。
• 確率的近似のもとでグローバル収束を保証する、高階情報を取り入れた確率的準ニュートン法を開発すること。
• ラインサーチやバックトラッキングを必要とせず、追加のプロキシマル勾配ステップを用いて収束を安定化するスキームを設計すること。
• 確率的高階方向を活用することで、一次の手法よりも改善された収束複雑度を達成すること。
• スパースロジスティック回帰やディープラーニングなどの実用的問題における手法の有効性を示すこと。

提案手法

• 本手法は、$f$ が滑らかだが、確率的オラクルからのみアクセス可能な形での合成非凸問題 $\min_x f(x) + \varphi(x)$ を解く。
• 最適性条件を定義するため、プロキシマル型の不動点方程式 $F^\Lambda(x) = x - \mathrm{prox}^\Lambda_\varphi(x - \Lambda^{-1}\nabla f(x)) = 0$ を用いる。
• この不動点方程式を、確率的オラクルからの近似勾配を用いて解くことにより、確率的高階ステップを導出する。
• グローバル収束を保証し、反復を安定化させるために、追加の確率的プロキシマル勾配ステップを導入する。
• ステップサイズのルールは、確率的誤差と収束のバランスを取るよう設計され、特定の可summability条件を満たす。
• 分散低減技術とサブサンプリングスキームをフレームワークに統合し、効率性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配のアクセスしか得られない非滑らかで非凸な設定において、高階ステップを含む確率的準ニュートン法がグローバル収束を達成できるか？
• RQ2 ラインサーチやバックトラッキングを必要とせずに、追加のプロキシマル勾配ステップが収束をどのように安定化できるか？
• RQ3 このような手法のインクリメンタル一次オラクル（IFO）複雑度は何か？ 一次の手法と比較してどうなるか？
• RQ4 大規模な問題に対して、座標型アップデートを用いて効率的に実装できるか？
• RQ5 確率的高階情報の組み込みが、ディープラーニングおよびスパースロジスティック回帰タスクにおける性能向上に寄与するか？

主な発見

• 提案手法は、期待値における局所最適解へのグローバル収束を達成し、$\mathbb{E}[\|F^I(\mathbf{X}^k)\|^2] \to 0$ が $k \to \infty$ のとき成り立つ。
• ε-精度の局所最適解に到達するためのIFO複雑度は $\mathcal{O}(N^{2/3}/\varepsilon)$ であり、標準的一次手法を上回る。
• 大規模なロジスティック回帰およびディープラーニングのベンチマークにおいて、最先端の一様一次手法と同等の性能を達成する。
• 分散低減技術と確率的高階方向の使用により、収束が速くなり、ロバスト性が向上する。
• 座標型の準ニュートンスキームにより、大規模問題に適した安価で取り扱いやすい探索方向が得られる。
• 理論的分析により、エクストラステップがラインサーチを伴わず、目的関数値の近似的減少を保証することが確認された。