[論文レビュー] Scalable Natural Gradient Langevin Dynamics in Practice

Henri Palacci, Henry Hess|arXiv (Cornell University)|Jun 7, 2018

Markov Chains and Monte Carlo Methods参考文献 13被引用数 7

ひとこと要約

この論文は、ベイジアンディープラーニングにおけるスケーラブルなネイチャラルグラディエント・ランジュヴィアンダイナミクス（SGLD）を、対角、クラメル因子付き、およびフル・フィッシャー近似というさまざまな前処理手法を用いて評価している。これらの手法は分布外（OOD）検出を改善するが、小さなデータセットでは過学習を軽減できず、 adversarial 攻撃に対しても耐性を示さない。これは、固定学習率のSGDによる暗黙のベイジアン正則化の方が、実世界の展開においてより実用的である可能性を示唆している。

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a sampling scheme for Bayesian modeling adapted to large datasets and models. SGLD relies on the injection of Gaussian Noise at each step of a Stochastic Gradient Descent (SGD) update. In this scheme, every component in the noise vector is independent and has the same scale, whereas the parameters we seek to estimate exhibit strong variations in scale and significant correlation structures, leading to poor convergence and mixing times. We compare different preconditioning approaches to the normalization of the noise vector and benchmark these approaches on the following criteria: 1) mixing times of the multivariate parameter vector, 2) regularizing effect on small dataset where it is easy to overfit, 3) covariate shift detection and 4) resistance to adversarial examples.

研究の動機と目的

• 大規模なベイジアンニューラルネットワークにおける前処理を施したSGLD手法の実用的効果を評価すること。
• 標準的なSGLDと比較して、ネイチャラルグラディエント前処理が混合性、一般化性能、耐性の向上に寄与するかを調査すること。
• SGLDベースのモデルが、分布外（共変量シフト）データを不確実性推定を通じて効果的に検出できるかを評価すること。
• 一般化性能と不確実性推定の観点から、SGLDの変種と標準的なSGD、固定学習率SGD（FSGD）の性能を比較すること。
• 前処理の計算コストが、実世界のディープラーニング応用において得られる利点を上回るかどうかを特定すること。

提案手法

• ニューラルネットワーク重みの事後分布からのサンプリングに、追加のガウスノイズを加えた確率的勾配ランジュヴィアンダイナミクス（SGLD）を採用する。
• パラメータ空間の曲率を考慮するために、ノイズ項に対角、クラメル因子付きブロック対角、およびフル・フィッシャー情報行列の前処理を適用する。
• 大規模ネットワーク向けに、効率的かつ逆行列が計算可能なフィッシャー情報行列の近似として、クラメル因子付き近似曲率（KFAC）を用いる。
• 固定ハイパーパramータチューニング予算のもとで、SGLDの変種（pSGLD、KSGLD）と固定学習率SGD（FSGD）を比較する。
• 標準的なMCMC診断（有効サンプルサイズ、トレースプロット）を用い、OOD検出、過学習、adversarial耐性の観点からモデル性能を評価する。
• MNISTでモデルを学習し、notMNISTで評価することで、エピステミック不確実性および共変量シフト検出をテストする。

実験結果

リサーチクエスチョン

• RQ1 対角またはクラメル因子付き近似によるランジュヴィアンノイズの前処理は、SGLDにおける混合性と収束性を向上させるか？
• RQ2 小さなデータセット（5,000例のMNIST）において、前処理を施したSGLD手法は、標準的なSGDと比較して過学習を軽減できるか？
• RQ3 SGLDベースのモデルは、標準的なディープラーニングモデルと比較して、adversarial例に対して優れた耐性を示すか？
• RQ4 SGLDベースのモデルは、不確実性推定を通じて、notMNISTのような分布外（OOD）データを効果的に検出できるか？
• RQ5 実世界のディープラーニング環境において、前処理の計算コストが性能向上を上回る利点をもたらすか？

主な発見

• 前処理を施したSGLD手法（pSGLD、KSGLD）は、分布外（OOD）データの検出を顕著に改善し、notMNISTにおける予測の不確実性が通常のSGDよりも高くなる。
• 小さなデータセット（5,000例のMNIST）では、すべてのランジュヴィアン手法が標準的なSGDを下回り、テスト精度が90％未満に低下する。これは、正則化効果がないことを示している。
• pSGLDやKSGLDを含むすべてのSGLD変種は、adversarial攻撃に対して失敗し、adversarial例におけるテスト精度が約2％に低下する。これは標準的なSGD（2.9％）よりも悪い。
• トレースプロットおよび有効サンプルサイズ解析から、パラメータのトレースに混合性の欠如と非定常性が認められ、長時間の実行でも収束の問題が生じていることが示された。
• 固定学習率SGD（FSGD）は、OOD検出においてSGLDと同等の性能を示し、小さなデータでの一般化性能においてSGLDを上回っている。これは、データサブサンプリングノイズが既にパラメータ多様体に適切にスケーリングされている可能性を示唆している。
• 本研究は、実世界の応用において、前処理を施したSGLDに比べ、固定学習率SGDによる暗黙のベイジアン正則化の方がより実用的であると結論づけた。