[論文レビュー] Block-diagonal Hessian-free Optimization for Training Neural Networks

Huishuai Zhang, Caiming Xiong+2 more|arXiv (Cornell University)|Dec 20, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用数 10

ひとこと要約

本稿では、ヘシアン・ベクトル積を層内パラメータブロックに制限することで曲率行列を近似するブロック対角ヘシアンフリー（HF）最適化法を提案する。この手法により、各ブロックごとに独立した共役勾配更新が可能となり、標準HFおよびAdamと比較して収束が速く、一般化性能が高く、大規模ミニバッチにおいても優れたスケーラビリティを示す。計算効率を維持しながら、最適化の更新回数を最大で1桁短縮できる。

ABSTRACT

Second-order methods for neural network optimization have several advantages over methods based on first-order gradient descent, including better scaling to large mini-batch sizes and fewer updates needed for convergence. But they are rarely applied to deep learning in practice because of high computational cost and the need for model-dependent algorithmic variations. We introduce a variant of the Hessian-free method that leverages a block-diagonal approximation of the generalized Gauss-Newton matrix. Our method computes the curvature approximation matrix only for pairs of parameters from the same layer or block of the neural network and performs conjugate gradient updates independently for each block. Experiments on deep autoencoders, deep convolutional networks, and multilayer LSTMs demonstrate better convergence and generalization compared to the original Hessian-free approach and the Adam method.

研究の動機と目的

• 深層学習における2次最適化の高い計算コストとスケーラビリティの低さ、特に大規模ミニバッチにおける課題を解決すること。
• 曲率行列に内在する構造的スパarsityを活用することで、ヘシアンフリー最適化の収束性と安定性を向上させること。
• 収束に必要な最適化更新回数を削減しつつ、一般化性能を維持または向上させること。
• ネットワーク層ごとのパラメータ更新を分離することで、並列処理および分散学習のスケーラビリティを向上させること。
• ブロック対角近似が深層ニューラルネットワークにおけるヘシアンフリー最適化をどのように改善するかを実証的に検証すること。

提案手法

• 本手法は、ニューラルネットワークの各層またはモジュールに対応するブロック対角構造を用いて一般化ガウス・ニュートン行列を近似する。
• ヘシアン・ベクトル積を各パラメータブロック内に限定することで、全ヘシアン行列の計算を回避し、計算複雑度を低減する。
• 共役勾配（CG）更新を各ブロックごとに独立して実行することで、分離可能な部分問題を実現し、並列処理を向上させる。
• ヘシアン・ベクトル積ごとに1回の順方向および逆方向パスを用いて曲率近似を計算し、効率的な自動微分を活用する。
• 明示的なヘシアン行列の逆行列計算を避けるヘシアンフリーフレームワークの利点を維持しつつ、1イテレーションあたりのコストを著しく削減する。
• 固定学習率およびダミング強度を用い、公平な比較のためポリャク平均を適用する。

実験結果

リサーチクエスチョン

• RQ1 曲率行列のブロック対角近似は、深層ニューラルネットワークにおけるヘシアンフリー最適化の収束性と安定性を向上させることができるか？
• RQ2 パラメータブロック内に制限した曲率計算は、標準ヘシアンフリーおよび1次最適化手法と比較して、収束に必要な最適化更新回数を削減できるか？
• RQ3 大規模ミニバッチ環境下で、ブロック対角HF法は、一般化性能の低下を示す傾向がある1次最適化手法（例：Adam）と比較してどのように性能を発揮するか？
• RQ4 ブロック対角構造は、分散学習環境における並列処理およびスケーラビリティをどの程度向上させるか？
• RQ5 ブロック対角近似は、全ヘシアンフリーおよび適応的1次最適化手法（例：Adam）と比較して、一般化性能を維持または向上させることができるか？

主な発見

• ブロック対角ヘシアンフリー法は、特に大規模ミニバッチにおいて、同等またはより高いテスト精度に到達するまでにAdamと比較して最大で1桁少ない最適化更新回数で実現できる。
• 深層オートエンコーダーおよびマルチレイヤーLSTMの実験では、小さな曲率ミニバッチサイズでも、標準HFおよびAdamと比較して低い訓練損失と優れた一般化性能を達成した。
• 簡略化されたResNetを用いたCIFAR-10画像分類タスクにおいて、ブロック対角HFは、曲率推定が小さなミニバッチによるノイズの影響を受ける状況でも、標準HFよりも高いテスト精度とより安定した学習を実現した。
• 本手法は、標準HFと同等の計算効率を維持しており、1イテレーションあたりの実行時間はAdamの5〜10倍遅いが、総イテレーション回数が著しく少ない。
• ブロック対角HF法は大規模ミニバッチへのスケーラビリティに優れており、このような条件下で性能が低下する傾向があるAdamおよび標準HFと比較して顕著な優位性を示した。
• ブロック間の部分問題の分離性により、内在的な並列処理が可能であり、分散処理および大規模機械学習アプリケーションへの強い可能性を示唆している。