[論文レビュー] Structured Stochastic Quasi-Newton Methods for Large-Scale Optimization Problems

Minghan Yang, Dong Xu+3 more|arXiv (Cornell University)|Jun 17, 2020

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、機械学習における大規模な非凸最適化のための構造的確率的準ニュートン法を提案する。部分ヘッセ行列情報とニストロムに基づく低ランク近似を活用することで、効率的な準ニュートン方向計算を実現する。期待値におけるグローバル収束と局所的超線形収束を達成し、ロジスティック回帰、オートエンコーダ、ディープラーニングタスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we consider large-scale finite-sum nonconvex problems arising from machine learning. Since the Hessian is often a summation of a relative cheap and accessible part and an expensive or even inaccessible part, a stochastic quasi-Newton matrix is constructed using partial Hessian information as much as possible. By further exploiting the low-rank structures based on the Nystrom approximation, the computation of the quasi-Newton direction is affordable. To make full use of the gradient estimation, we also develop an extra-step strategy for this framework. Global convergence to stationary point in expectation and local suplinear convergence rate are established under some mild assumptions. Numerical experiments on logistic regression, deep autoencoder networks and deep learning problems show that the efficiency of our proposed method is at least comparable with the state-of-the-art methods.

研究の動機と目的

• 大規模な非凸最適化におけるヘッセ行列計算の高コスト問題に取り組む。
• 計算負荷を軽減するために、アクセス可能な部分ヘッセ行列情報を活用する確率的準ニュートンフレームワークを構築する。
• ニストロム近似を用いてヘッセ行列の低ランク構造を活用し、準ニュートン方向計算を実行可能にする。
• 追加ステップ戦略を導入して勾配の利用効率を高め、収束性と効率性を向上させる。
• やや弱い仮定の下で、静的点へのグローバル収束と局所的超線形収束を確立する。

提案手法

• 完全なヘッセ行列の計算を回避するため、安価でアクセス可能なヘッセ行列の一部のみを用いて、確率的準ニュートンヘッセ行列近似を構築する。
• ヘッセ行列の低ランク構造を活用するためにニストロム近似を適用し、行列の逆行列計算と方向計算のコストを著しく低減する。
• 勾配推定の精度を向上させ、収束特性を改善するために、追加ステップ戦略を統合する。
• 部分ヘッセ行列データと低ランク補正を組み合わせた準ニュートン更新則を設計し、より正確な探索方向を達成する。
• ニストロム近似から導かれる低次元部分空間に限定して行列演算を実施することで、計算効率を確保する。
• やや弱い仮定の下で、確率的ヘッセ行列近似と更新メカニズムを慎重に設計することで、収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 部分ヘッセ行列情報のみを用いて、大規模な非凸問題を効率的に処理できる確率的準ニュートン法を設計できるか？
• RQ2 ニストロム法のような低ランク近似を、確率的準ニュートンフレームワークに効果的に統合することで、計算コストを低減できるか？
• RQ3 提案された追加ステップ戦略は、確率的準ニュートン法における収束性と勾配利用効率を向上させるか？
• RQ4 提案手法について、グローバル収束と局所的超線形レートの観点から、どのような収束保証を確立できるか？
• RQ5 実際の機械学習タスクにおいて、最先端の最適化アルゴリズムと比較して、本手法はどのように性能を発揮するか？

主な発見

• 提案手法はやや弱い仮定の下で、期待値における静的点へのグローバル収束を達成する。
• 局所的収束は超線形レートを示し、最適解付近での高速な改善を示している。
• ニストロム近似による低ランク構造の活用により、計算効率を維持している。
• ロジスティック回帰、ディープオートエンコーダ、ディープラーニングモデルにおける数値実験では、最先端の手法と同等の性能を示した。
• 追加ステップ戦略により勾配の利用効率が向上し、収束特性の改善に寄与している。
• アクセス可能なヘッセ行列の一部と低ランク近似を用いることで、計算コストと精度のバランスを効果的に実現している。