[論文レビュー] Fast Approximate Natural Gradient Descent in a Kronecker-factored Eigenbasis

George Thomas, César Laurent+3 more|arXiv (Cornell University)|Jun 11, 2018

Advanced Neural Network Applications参考文献 26被引用数 37

ひとこと要約

この論文は、Kronecker-分解された固有基底における対角分散を追跡することで、KFAC よりもより良い curvature 評価が保証される Fisher 情報行列の新規近似法 EKFAC を提案する。これにより、効率的な部分的更新が可能となり、最適化の高速化と一般化性能の向上が得られる。実験では、複数のアーキテクチャにおいて、EKFAC は KFAC や SGD よりも訓練損失とウォールクロック時間の両面で優れた性能を示した。

ABSTRACT

Optimization algorithms that leverage gradient covariance information, such as variants of natural gradient descent (Amari, 1998), offer the prospect of yielding more effective descent directions. For models with many parameters, the covariance matrix they are based on becomes gigantic, making them inapplicable in their original form. This has motivated research into both simple diagonal approximations and more sophisticated factored approximations such as KFAC (Heskes, 2000; Martens & Grosse, 2015; Grosse & Martens, 2016). In the present work we draw inspiration from both to propose a novel approximation that is provably better than KFAC and amendable to cheap partial updates. It consists in tracking a diagonal variance, not in parameter coordinates, but in a Kronecker-factored eigenbasis, in which the diagonal approximation is likely to be more effective. Experiments show improvements over KFAC in optimization speed for several deep network architectures.

研究の動機と目的

• 大規模な深層ニューラルネットワークにおける正確な自然勾配降下の計算的非現実性（Fisher 情報行列の巨大さに起因）を解消すること。
• 固有基底変換を用いて、KFAC よりもより正確に Fisher 情報行列を近似する手法の改善。
• 固定された固有基底を維持しながら、対角分散のみを更新することで、curvature 評価の効率的かつ部分的な更新を可能にすること。
• Kronecker-分解された固有基底における curvature 評価が、実際の最適化において収束速度の向上と一般化性能の向上をもたらすことを示すこと。

提案手法

• パラメータ空間を Kronecker-分解された固有基底（KFE）に変換し、curvature 近似を生パラメータではなく対角分散に適用する。
• Kronecker-分解された共分散行列の固有値分解により KFE を計算し、計算コストを複数イテレーションにわたって分散（アモアタイズ）する。
• KFE 内の対角分散推定を維持することで、固有基底の再計算なしに低コストな部分的更新が可能となる。
• 変換された空間で適応的対角スケーリング（例：RMSProp に類似）を用いて、前処理行列を更新することで収束安定性を向上させる。
• 形式的に、EKFAC が KFAC よりも Fisher 情報行列の Frobenius 範囲におけるより良い近似をもたらすことが示された。
• 本手法は、完全更新と部分的更新の両方をサポートしており、計算コストと推定精度のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 Kronecker-分解された固有基底における curvature 近似は、Frobenius 範囲の観点から KFAC よりも Fisher 情報行列をより良い近似できるか？
• RQ2 KFE 内の対角分散を追跡することは、標準的な KFAC よりもより効果的かつ効率的な最適化を可能にするか？
• RQ3 KFE 内での curvature 評価の部分的更新は、計算コストを削減しながらも性能を維持できるか？
• RQ4 EKFAC は、KFAC や SGD と比較して、深層ネットワーク学習における最適化速度と一般化性能を向上させるか？

主な発見

• KFE 内での固有値補正のおかげで、Frobenius 範囲で測定した場合、EKFAC は KFAC よりも provably より良い Fisher 情報行列の近似を提供する。
• 全結合オートエンコーダーおよび CIFAR-10 データセットにおいて、EKFAC は KFAC やモーメンタム付き SGD よりも収束が速い。
• VGG-11 および ResNet-34 では、KFE 計算をアモアタイズした場合、EKFAC-ra（部分的更新あり）が、1エポックあたりの訓練損失とウォールクロック時間の両面で KFAC や SGD を上回った。
• EKFAC は、さまざまなバッチサイズにおいても優れた一般化性能を維持し、KFC や SGD のベースラインと比較してより低い検証誤差を達成した。
• EKFAC の部分的更新は計算的に効率的であり、高い精度を維持しており、大規模学習における実用的導入を可能にした。
• 本手法はさまざまなハイパーパramータ設定においてもロバストな性能を示し、エポック数や計算予算を基準にモデル選択した場合、EKFAC の設定が最良の KFAC 設定を上回ることが多かった。