[論文レビュー] Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network

Oscar Chang, Yuling Yao+2 more|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications参考文献 58被引用数 5

ひとこと要約

本稿では、ResNet-18 などの大規模なディープニューラルネットワークにおいて、最小限のオーバーヘッドでベイジアン不確実性推定を可能にする、パrameter効率的な変分ベイズニューラルネットワーク手法であるEnsemble Model Patchingを提案する。アンサンブルに基づくベイジアンニューラルネットワークの一般化された変分族を構築することで、近似的にゼロに近いパrameterおよびプログラミングのオーバーヘッドを達成可能であり、非ベイジアン学習と同等の水準に近い。ImageNet上で、精度、キャリブレーション、耐性の観点でMCドロップアウトを上回り、ほぼ完璧なキャリブレーションを達成する。

ABSTRACT

Two main obstacles preventing the widespread adoption of variational Bayesian neural networks are the high parameter overhead that makes them infeasible on large networks, and the difficulty of implementation, which can be thought of as "programming overhead." MC dropout [Gal and Ghahramani, 2016] is popular because it sidesteps these obstacles. Nevertheless, dropout is often harmful to model performance when used in networks with batch normalization layers [Li et al., 2018], which are an indispensable part of modern neural networks. We construct a general variational family for ensemble-based Bayesian neural networks that encompasses dropout as a special case. We further present two specific members of this family that work well with batch normalization layers, while retaining the benefits of low parameter and programming overhead, comparable to non-Bayesian training. Our proposed methods improve predictive accuracy and achieve almost perfect calibration on a ResNet-18 trained with ImageNet.

研究の動機と目的

• 大規模モデルにおける変分ベイジアンニューラルネットワークの採用を妨げる高いパrameterおよびプログラミングのオーバーヘッドを解消すること。
• MCドロップアウトがしばしば失敗するバッチ正則化層と効果的に連携できるベイジアン手法を開発すること。
• 既存のトレーニングパイプラインへの最小限の変更で、ResNet-18 や PyramidNet などの現代的アーキテクチャにおけるスケーラブルなベイジアンディープラーニングを可能にすること。
• ImageNet などの大規模データセットにおいて、最先端の不確実性キャリブレーションおよび予測性能を達成すること。
• アーキテクチャの変更なしに標準レイヤーの1対1の置き換えが可能であり、導入の容易さを保証すること。

提案手法

• implicitおよびexplicitアンサンブルを統合する、アンサンブルベースのベイジアンニューラルネットワークの一般化された変分族を提案し、ドロップアウトを特別なケースとして含む。
• バッチ正則化と互換性があり、深層ネットワークにスケーラブルな2つの新しい変分分布—Ensemble Model Patching (EMP) およびその変種 ECMP — を導入する。
• 各重みを学習可能なパラメータのアンサンブルに置き換えるパッチベースのパrameter化を採用し、パラメータオーバーヘッドを低く抑える（ResNet-18では17.9%）とともに、効率的な推論を可能にする。
• 推論時にモンテカルロサンプリングを用いて予測不確実性を推定するが、標準の非ベイジアン学習と同等の計算コストを維持する。
• 全結合層および畳み込み層に対して、ネットワークアーキテクチャやバックプロパゲーションの変更なしに、プラグインとしての交換が可能である。
• 再パrameter化トリックを活用して、アンサンブルパラメータの微分可能トレーニングを可能にし、エンドツーエンド最適化を保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットで高い性能を維持しつつ、近似的にゼロのパラメータオーバーヘッドでベイジアンニューラルネットワークをトレーニングできるか？
• RQ2 バッチ正則化層と互換性を持つように、ベイジアン不確実性推定をどのように設計できるか？（MCドロップアウトがしばしば失敗するため）
• RQ3 アンサンブルベースの変分推論は、深層残差ネットワークにおいて、MCドロップアウトよりも優れたキャリブレーションと耐性を達成できるか？
• RQ4 計算コストおよび実装コストを最小限に抑えて、ImageNetレベルのモデルにベイジアンニューラルネットワークをスケーリングすることは可能か？
• RQ5 implicitおよびexplicitアンサンブル手法を統一する1つのフレームワークで、一貫した変分族を構築できるか？

主な発見

• Ensemble Model Patchingは、ResNet-18を用いてImageNetでほぼ完璧なキャリブレーションを達成し、MCドロップアウトおよび非ベイジアンモデルを上回る。
• ResNet-18では17.9%のパラメータオーバーヘッドに留まり、平均場ガウス分布の100%、MNFGの29900%と比べて極めてスケーラブルである。
• 複数の回帰データセットにおいて、EMPおよびECMPは、テストの対数尤度および不確実性キャリブレーションの両面で、MCドロップアウトおよび非ベイジアンベースラインを一貫して上回る。
• 本手法は、標準の非ベイジアン学習と同等の計算コストおよびトレーニング時間を維持しており、実用的な導入が可能である。
• 実験的結果から、EMPは一般的な画像劣化に対して耐性が向上しており、分布シフト下での一般化性能が向上していることが示された。
• 本手法は、最先端のキャリブレーションおよび精度を達成する形で、ベイジアンニューラルネットワークをImageNetデータセットに初めて効果的にスケーリングした。