[論文レビュー] Optimizing Neural Networks with Kronecker-factored Approximate Curvature

James Martens, Roger Grosse|arXiv (Cornell University)|Mar 19, 2015

Neural Networks and Applications参考文献 47被引用数 290

ひとこと要約

この論文では、ニューラルネットワークの学習に効率的な近似自然勾配法であるKronecker-factored Approximate Curvature（K-FAC）を導入する。フィッシャー情報行列を小さな行列のクロネッカー積として近似することで、高速な逆行列計算が可能となり、大規模な曲率を考慮した更新が実現される。実際のベンチマークでは、SGD with momentumを凌駕し、深層オートエンコーダーの学習において反復回数を桁違いに削減する。

ABSTRACT

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-Factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

研究の動機と目的

• 正確な自然勾配やヘシアンフリー法の計算負荷を回避しつつ、スケーラブルで曲率を考慮した最適化手法を深層ニューラルネットワークに開発すること。
• ヘシアンフリー最適化における共役勾配などの一次元手法の非効率性を解消し、高品質で非対角行列の曲率近似を直接かつ効率的に逆行列化できるようにすること。
• 対角でも低ランクでもないが、多項式時間で逆行列が可能となる曲率近似を設計し、オンラインで確率的最適化に適したものとすること。
• 過剰なハイパーパrameterチューニングを必要とせず、深層学習ベンチマークでSGD with momentumを上回る収束速度を達成すること。
• 同期がボトル neck となる分散学習を著しく効率化できるよう、必要な最適化ステップ数を大幅に削減すること。

提案手法

• 層ごとのブロックに分割されたフィッシャー情報行列を近似し、各ブロックを小さな行列のクロネッカー積としてモデル化することで、層の勾配に関する統計的仮定を活用する。
• 近似フィッシャー行列の逆行列にブロック対角またはブロック三重対角構造を採用し、小さな行列における行列分解（例：SVD）を用いて効率的な逆行列計算を実現する。
• ミニバッチを用いて曲率近似をオンラインで維持し、再計算を伴わず順次更新可能にする。
• 正則化/ダミングを含む二次モデルに基づく最適化フレームワークに曲率近似を統合し、更新の安定性と収束性を向上させる。
• 勾配の確率性に対処するため、曲率補正付きステップと増加するミニバッチサイズスケジュールを組み合わせたモーメンタムに類似した更新ルールを適用する。
• 行列同士の積と低ランク分解技術を用いて、大規模ネットワークに対しても計算効率を保つ。

実験結果

リサーチクエスチョン

• RQ1 非対角かつ低ランクでもないフィッシャー情報行列の近似を、深層ネットワークにおける実用的な自然勾配最適化が可能になるほど効率的に逆行列化できるか？
• RQ2 層ごとのフィッシャー・ブロックに対するクロネッカー積ベースの近似が、十分な曲率情報を保持し、標準的なSGD with momentumを上回るか？
• RQ3 曲率近似をオンラインで更新しても、ミニバッチ学習のような高確率的環境でも有効に機能するか？
• RQ4 K-FACは、深層オートエンコーダーのベンチマークにおいて、よくチューニングされたSGD with momentumと比較して収束速度とサンプル効率に優れているか？
• RQ5 K-FACは収束に必要な反復回数をどの程度削減できるか？また、その結果、より効率的な分散学習が可能になるか？

主な発見

• K-FACは、深層オートエンコーダーのベンチマークでSGD with momentumを著しく上回り、反復回数を桁違いに削減した。
• ブロック対角バージョンのK-FACは、ブロック三重対角バージョンよりも1回の反復あたり25%〜40%高い進捗率を達成したが、後者はより高い計算コストを要した。
• ブロック対角K-FACは、ブロック三重対角バージョンと同等の1秒あたりの進捗率を達成しており、実用的用途においてより良いトレードオフであることが示された。
• K-FACの曲率近似は、大きなミニバッチや高い確率的変動に対しても有効に機能したが、固定された曲率推定に依存する手法とは対照的だった。
• ハイパーパrameterチューニングに対して頑健であり、最適な結果を得るには数個の重要な設定（例：ミニバッチサイズの増加）のみが必要だった。
• 反復回数が非常に少ないので、K-FACは同期がボトル neck となる大規模分散学習に特に適している。