[論文レビュー] Eigenvalue Corrected Noisy Natural Gradient

Juhan Bae, Guodong Zhang+1 more|arXiv (Cornell University)|Nov 30, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 11

ひとこと要約

この論文は、K-FAC固有基底における対角分散の計算により、不確実性推定を向上させる、ノイズあり EK-FAC を提案する。ノイズあり K-FAC よりも高い ELBO およびテスト精度を達成するが、追加の計算コストは発生しない。

ABSTRACT

Variational Bayesian neural networks combine the flexibility of deep learning with Bayesian uncertainty estimation. However, inference procedures for flexible variational posteriors are computationally expensive. A recently proposed method, noisy natural gradient, is a surprisingly simple method to fit expressive posteriors by adding weight noise to regular natural gradient updates. Noisy K-FAC is an instance of noisy natural gradient that fits a matrix-variate Gaussian posterior with minor changes to ordinary K-FAC. Nevertheless, a matrix-variate Gaussian posterior does not capture an accurate diagonal variance. In this work, we extend on noisy K-FAC to obtain a more flexible posterior distribution called eigenvalue corrected matrix-variate Gaussian. The proposed method computes the full diagonal re-scaling factor in Kronecker-factored eigenbasis. Empirically, our approach consistently outperforms existing algorithms (e.g., noisy K-FAC) on regression and classification tasks.

研究の動機と目的

• 行列変量ガウス事後分布の限界を解消すること。これは、正確な対角分散を捉えられていないためである。
• 標準的なノイズあり K-FAC を超える柔軟性と表現力を持つ事後分布を改善すること。
• K-FAC の効率を維持しながら、固有値補正を用いて不確実性推定を向上させるスケーラブルな手法を開発すること。
• パラメータ空間ではなく K-FAC 固有基底において再スケーリング要因を再表現することにより、正確な対角分散推定を可能にすること。

提案手法

• ノイズあり K-FAC を拡張し、K-FAC 近似のクリプトン因子固有基底において対角再スケーリング要因を計算する。
• 固有基底における勾配ベクトルの2階モーメントを用いて、より正確な対角分散を計算し、標準的な行列変量ガウス仮定を補正する。
• 曲率構造と整合性を保つために、固有基底を定期的に更新（50イテレーションごと）する。
• 基底更新をアモアタイズして計算コストを低減し、固有基底更新の間隔 T_eig を 5、再スケーリング更新の間隔 T_scale を 10 に設定する。
• K-FAC をクリプトン因子を用いて畳み込み層に拡張することで、全結合層および畳み込み層の両方のネットワークに適用可能である。
• 既存の K-FAC インfraストラクチャを再利用し、対角分散計算の変更のみを加えることで、ノイズあり K-FAC と同一の計算複雑度を維持する。

実験結果

リサーチクエスチョン

• RQ1 K-FAC 固有基底における対角分散の補正は、ベイジアンニューラルネットワークにおける行列変量ガウス事後分布の表現力向上に寄与するか？
• RQ2 固有値補正された対角分散は、標準的なノイズあり K-FAC よりも優れた不確実性推定および一般化性能を達成するか？
• RQ3 提案手法は、回帰および分類タスクにおいて、後続の柔軟性を向上させつつ計算効率を維持できるか？
• RQ4 異なるデータオーグメンテーションおよびバッチ正規化設定下での手法の性能はいかがなっているか？

主な発見

• すべての回帰データセットにおいて、ノイズあり EK-FAC はノイズあり K-FAC よりも高いテスト対数尤度を達成し、対数尤度の向上幅は 0.02 から 0.25 の範囲にのぼる。
• CIFAR10 データセットでは、データオーグメンテーションなしで 87.07% の精度、データオーグメンテーションおよびバッチ正規化を適用すると 92.22% の精度を達成し、ノイズあり K-FAC よりも 1.55 パcentage points の優位性を示した。
• トレーニング中、ノイズあり EK-FAC はノイズあり K-FAC よりも常に高い ELBO を達成しており、より優れた変分近似品質を示している。
• 固有値補正により、勾配の2階モーメントが不安定になる小バッチ設定でも、より安定的かつ正確な対角分散推定が可能になった。
• 固有基底および再スケーリング更新のアモアタイズは最適化性能に顕著な悪影響を及ぼさず、効率性を維持している。
• 深層ネットワーク、特に修正版 VGG16 に対しても、ノイズあり K-FAC と同等の計算コストで効果的にスケーリング可能であり、測定可能な追加コストは発生しない。