[論文レビュー] Bayesian Inference for Large Scale Image Classification

Jonathan Heek, Nal Kalchbrenner|arXiv (Cornell University)|Aug 9, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 16

ひとこと要約

この論文では、トレーニング中にモーメンタムとノイズを動的に調整することで、大規模画像分類におけるベイジアン推論を可能にする、適応的ノイズを持つマルコフ連鎖モンテカルロ（MCMC）サンプラーであるATMCを紹介する。ATMCはバッチ正規化を用いないImageNetおよびCIFAR-10で最適化ベースラインを上回り、後方予測サンプリングによる不確実性の良好なキャリブレーションと高い精度を達成する。

ABSTRACT

Bayesian inference promises to ground and improve the performance of deep neural networks. It promises to be robust to overfitting, to simplify the training procedure and the space of hyperparameters, and to provide a calibrated measure of uncertainty that can enhance decision making, agent exploration and prediction fairness. Markov Chain Monte Carlo (MCMC) methods enable Bayesian inference by generating samples from the posterior distribution over model parameters. Despite the theoretical advantages of Bayesian inference and the similarity between MCMC and optimization methods, the performance of sampling methods has so far lagged behind optimization methods for large scale deep learning tasks. We aim to fill this gap and introduce ATMC, an adaptive noise MCMC algorithm that estimates and is able to sample from the posterior of a neural network. ATMC dynamically adjusts the amount of momentum and noise applied to each parameter update in order to compensate for the use of stochastic gradients. We use a ResNet architecture without batch normalization to test ATMC on the Cifar10 benchmark and the large scale ImageNet benchmark and show that, despite the absence of batch normalization, ATMC outperforms a strong optimization baseline in terms of both classification accuracy and test log-likelihood. We show that ATMC is intrinsically robust to overfitting on the training data and that ATMC provides a better calibrated measure of uncertainty compared to the optimization baseline.

研究の動機と目的

• ImageNetなどの大規模画像分類タスクにおけるMCMCサンプリングを可能にすることで、ベイジアンディープラーニングにおけるスケーラビリティのギャップを解消する。
• バッチ正規化やドロップアウトなどの確率的正則化技術と互換性のないMCMC手法の課題を克服する。
• ハイパーパramータへの感受性を低減し、過学習に対して本質的に耐性のある堅牢なサンプリングアルゴリズムを開発する。
• ATMCからの後方予測推定が、精度と対数尤度の両面で最適化ベースラインを上回ることを実証する。

提案手法

• パラメータの分散に基づくフィードバック機構を用いて、各パラメータごとにモーメンタムとノイズを動的に調整する適応的サーモスタットモンテカルロ（ATMC）サンプラーを提案する。
• SDEに基づくサンプリングプロセスの安定性と収束性を向上させるために、修正された2次精度数値積分スキームを導入する。
• バッチ統計を用いないための訓練安定化を目的に、ResNet++を設計し、バッチ正規化をSELUs、Fixup初期化、重み正規化に置き換える。
• 適応的ノイズ注入を伴う確率的勾配を用いて、連続時間SDEを介してモデル重みの事後分布を近似する。
• 複数のMCMCサンプルの予測を平均化することで、不確実性推定を向上させるため、事後予測分布を適用する。
• 収束性と安定性を向上させるために、ステップサイズの冷却スケジュールとサイクルベースのトレーニングを採用する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化に依存せずに、MCMCサンプリングがImageNetのような大規模画像分類ベンチマークに効果的にスケーリング可能か？
• RQ2 ATMCにおける適応的ノイズおよびモーメンタム制御は、標準的なSG-MCMC手法と比較して、より良い収束性とロバスト性をもたらすか？
• RQ3 ATMCからの事後予測推定は、精度とテスト対数尤度の両面で、標準的な最適化ベースラインを上回るか？
• RQ4 特に低信頼度予測領域において、ATMCの不確実性キャリブレーションは最適化ベースモデルと比較してどうなるか？

主な発見

• ResNet++を用いたCIFAR-10では、ATMCが強力な最適化ベースラインを上回り、テスト精度95.5%、テスト対数尤度0.505を達成する。
• ImageNetでは、ATMCの1つの事後サンプルがトップ-1精度74.2%、テスト対数尤度1.08を達成し、バッチ正規化を用いない最適化ベースラインを上回る。
• ATMCの事後予測推定は、ImageNetでトップ-1精度77.5%、テスト対数尤度0.883を達成し、バッチ正規化を用いた最適化ベースライン（76.2%精度、0.947対数尤度）を上回る。
• ATMCは本質的に過学習に対して耐性があり、早期停止、学習率の減衰、確率的正則化を必要としない。
• ATMCの不確実性推定は、最適化ベースラインと比較して著しく良好にキャリブレートされており、特に低信頼度予測において顕著である。
• 240エポックのトレーニングを経て、ATMCの事後予測はバッチ正規化を用いた最適化ベースライン（76.2%精度）と同等の精度を達成しているが、トレーニング時間を10倍に延長している。