[論文レビュー] Algorithms for solving optimization problems arising from deep neural net models: smooth problems

Vyacheslav Kungurtsev, Tomáš Pevný|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用数 5

ひとこと要約

この論文は、鞍点を脱出するために負の曲率方向を明示的に活用することで、深層ニューラルネットワークの最適化のためのLanczosベースのニュートン法・負の曲率法を提案している。セキュリティ異常検出データセットにおいて、勾配降下法（SGD）よりも収束速度と目的関数値の低減で顕著に優れており、1回の反復あたりのコストがやや高いものの、実験的結果により優れた性能を示している。

ABSTRACT

Machine Learning models incorporating multiple layered learning networks have been seen to provide effective models for various classification problems. The resulting optimization problem to solve for the optimal vector minimizing the empirical risk is, however, highly nonlinear. This presents a challenge to application and development of appropriate optimization algorithms for solving the problem. In this paper, we summarize the primary challenges involved and present the case for a Newton-based method incorporating directions of negative curvature, including promising numerical results on data arising from security anomally deetection.

研究の動機と目的

• 勾配降下法（SGD）のような一次元最適化手法が制限を受ける鞍点の影響による、深層ニューラルネットワーク最適化の収束が遅いという課題に対処すること。
• 非凸的な深層学習問題において、負の曲率方向を明示的に組み込むことで、収束性と目的関数の低減が向上するかどうかを調査すること。
• ヘッセ行列とベクトルの積とLanczos反復を活用することで、標準的なニュートン法の欠点を回避する、実用的でスケーラブルな二次元最適化手法を開発すること。
• 負の曲率方向を用いる場合に、ミニバッチの固定サイクリングとランダム選択のどちらが収束を維持するかを評価すること。
• 計算コストを削減しながら有用な曲率情報を保持するため、ヘッセ行列とベクトルの積の計算に小さなバッチサイズを使用する可能性を検討すること。

提案手法

• 現在の反復点におけるヘッセ行列の負の曲率方向を特定するために、Lanczosアルゴリズムを用いて近似ニュートン方向を計算する。
• 有限差分または自動微分によりヘッセ行列とベクトルの積を近似することで、ヘッセ行列を直接保持せずに計算を可能にする。
• ニュートン方向（s）と負の曲率方向（d）を組み合わせ、探索方向 t = s + d を生成することで、正の曲率領域および負の曲率領域の両方で降下を保証する。
• 目的関数の十分な減少を保証するために、ミニバッチ関数に対してラインサーチを適用してステップサイズ α を決定する。
• 収束に不可欠であることが判明した、ミニバッチのインデックスをラウンドロビン方式で決定する決定論的選択を実装する。
• 性能とコストのバランスを最適化するため、実験的に決定された固定回数のLanczos反復（q ≈ 5）を用いる。

実験結果

リサーチクエスチョン

• RQ1 一次元最適化手法と比較して、負の曲率方向を明示的に使用することで、深層ニューラルネットワーク最適化における収束性が顕著に向上するか？
• RQ2 ニュートン方向と負の曲率方向を組み合わせることで、DNNから生じる非凸的で滑らかな最適化問題において、目的関数の低減がより速くなるか？
• RQ3 二次元情報を利用した確率的最適化において、ミニバッチのインデックスを固定サイクリングする方法とランダム選択の方法とでは、収束性の維持にどのような差が生じるか？
• RQ4 ヘッセ行列とベクトルの積の計算に、最適化性能を劣化させることなく、小さなバッチサイズを効果的に使用できるか？
• RQ5 Lanczosベースの手法は、セキュリティ異常検出のような実世界の、大規模な機械学習問題において、頑健でスケーラブルであるか？

主な発見

• 提案されたLanczosニュートン法・負の曲率法は、Cisco社が提供するプライベートなセキュリティ異常検出データセットにおいて、1000反復の間、SGDよりも目的関数値の低減が顕著に優れている。
• 1回の反復あたりの計算コストが高めであるものの、定数ステップサイズ、徐々に小さくするステップサイズ、ラインサーチ付きステップサイズを用いたSGDと比較して、収束が早く、目的関数値も低く抑えられている。
• ミニバッチインデックスの決定論的サイクリングが収束に不可欠であり、ランダム選択では目的関数が上昇する傾向があり、個々のバッチへの過剰適合が示唆された。
• この手法は、負の曲率方向を効果的に活用して鞍点を脱出できており、このような方向が信頼性があり効果的な降下パスであることを実証した。
• 実験的結果から、ニュートン方向と負の曲率方向を組み合わせた（t = s + d）手法が有効であることが示され、より複雑な組み合わせに大きな利点は見出せなかった。
• 有限差分または自動微分を用いたヘッセ行列とベクトルの積の計算により、ヘッセ行列の明示的保存を回避しながら、実用的な実装が可能になった。