[論文レビュー] Inexact Newton Methods for Stochastic Nonconvex Optimization with Applications to Neural Network Training

Thomas O’Leary-Roseberry, Nick Alger+1 more|arXiv (Cornell University)|May 16, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用数 12

ひとこと要約

本稿では、深層学習における非凸最適化のための確率的不正確ニュートン法を提案する。部分サンプルされたヘッセ行列と勾配の近似を用い、クリロフ法を組み合わせることでニュートン方程式を効率的に解く。実験では、これらの手法が、ヘッセ固有値スペクトルのクラスタリングが見られる状況において、Adamなどの一次元最適化手法よりも収束が速く、一般化性能が優れていることを示している。MNISTおよびCIFAR10のオートエンコーダー学習で有効である。

ABSTRACT

We study stochastic inexact Newton methods and consider their application in nonconvex settings. Building on the work of [R. Bollapragada, R. H. Byrd, and J. Nocedal, IMA Journal of Numerical Analysis, 39 (2018), pp. 545--578] we derive bounds for convergence rates in expected value for stochastic low rank Newton methods, and stochastic inexact Newton Krylov methods. These bounds quantify the errors incurred in subsampling the Hessian and gradient, as well as in approximating the Newton linear solve, and in choosing regularization and step length parameters. We deploy these methods in training convolutional autoencoders for the MNIST and CIFAR10 data sets. Numerical results demonstrate that, relative to first order methods, these stochastic inexact Newton methods often converge faster, are more cost-effective, and generalize better.

研究の動機と目的

• 深層学習に生じる大規模な非凸最適化問題に対する効率的な二階最適化手法の開発。
• 部分サンプリングと不正確な解法を伴う確率的不正確ニュートン法の収束速度の分析。
• 収束速度、一般化性能、耐性の観点から、ニューラルネットワーク学習におけるこれらの手法の性能評価。
• ヘッセ行列のバッチサイズと固有値スペクトルのクラスタリングが最適化性能に与える影響の調査。

提案手法

• 本稿では、ニュートン型手法における計算コストを低減するため、低ランクの確率的ヘッセ行列近似を採用する。
• ヘッセ行列を明示的に構築せずに、ニュートン方程式を解くために不正確なクリロフ部分空間法（GMRES、MINRES）を用いる。
• 非凸な設定における降下性と安定性を確保するため、正則化とラインサーチ戦略を組み込む。
• 随伴法を用いて、勾配とヘッセ・ベクトル積の部分サンプルを統合し、1イテレーションあたり$O(dN_X)$の計算量を維持する。
• 負の曲率方向を活用することで鞍点を脱出できる、鞍点フリー・ニュートン（SFN）の変種を用いる。
• スケーラブルな二階最適化を実現するため、TensorFlowを用いたPythonライブラリとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 勾配およびヘッセ行列推定における部分サンプリング誤差が、確率的不正確ニュートン法の収束に与える影響は何か？
• RQ2 非凸問題において、ヘッセ・ベクトル積の数が限られている状況でも、不正確なクリロフ法がニュートンステップを効果的に近似できるか？
• RQ3 ヘッセ行列の固有値スペクトルのクラスタリングが、深層学習における不正確ニュートン法の性能に与える影響は何か？
• RQ4 画像再構成タスクにおいて、確率的不正確ニュートン法は、Adam や SGD などの一次元最適化手法よりも一般化性能が優れているか？
• RQ5 高速な収束と良好な一般化を達成するための、ヘッセ行列バッチサイズと計算コストの最適なバランスは何か？

主な発見

• 不正確ニュートン・クリロフ法（INGMRES、INMINRES）は、CIFAR10で最も優れた一般化性能を示し、Adam や SGD を上回った。
• 固定ステップ長の完全に確率的なLRSFN法は、CIFAR10で最小の訓練誤差を達成したが、クリロフベースの変種よりも過学習が顕著であった。
• MNISTでは、INCGおよびINGMRES法が、勾配降下法やAdamよりも収束が速く、より低いテスト誤差を達成した。
• ヘッセ行列のバッチサイズは性能に顕著な影響を与えた：情報が少なすぎると過学習が生じ、多すぎると計算負荷が増加した。
• 実験ではヘッセ行列の固有値スペクトルのクラスタリングが観察された。これは、このような構造を活用するクリロフベースの手法が優れた性能を発揮する理由を説明する。
• ラインサーチではLRSFNがステップ長の選択に敏感で性能が低かったが、固定ステップ長を用いた半確率的変種は、安定性と性能が向上した。