[論文レビュー] Bayesian Dark Knowledge

Anoop Korattikara, Vivek Rathod+2 more|arXiv (Cornell University)|Jun 14, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用数 135

ひとこと要約

本稿では、確率的勾配ランジュヴィンダイナミクス（SGLD）から得られるモンテカルロ後方予測分布を、1つの効率的なディープニューラルネットワークに蒸留する手法、ベイジアンダークナレッジを提案する。SGLD教師の不確実性を考慮した予測を模倣するように訓練されたコンactな学生ネットワークを用いることで、従来の変分ベイズや期待誤差法よりも優れた予測性能を達成し、標準的なディープラーニングモデルと同等の推論速度を実現する。

ABSTRACT

We consider the problem of Bayesian parameter estimation for deep neural networks, which is important in problem settings where we may have little data, and/ or where we need accurate posterior predictive densities, e.g., for applications involving bandits or active learning. One simple approach to this is to use online Monte Carlo methods, such as SGLD (stochastic gradient Langevin dynamics). Unfortunately, such a method needs to store many copies of the parameters (which wastes memory), and needs to make predictions using many versions of the model (which wastes time). We describe a method for "distilling" a Monte Carlo approximation to the posterior predictive density into a more compact form, namely a single deep neural network. We compare to two very recent approaches to Bayesian neural networks, namely an approach based on expectation propagation [Hernandez-Lobato and Adams, 2015] and an approach based on variational Bayes [Blundell et al., 2015]. Our method performs better than both of these, is much simpler to implement, and uses less computation at test time.

研究の動機と目的

• データが限られている場合や不確実性推定が重要となる状況において、ディープニューラルネットワークにおける正確な後方予測密度を取得する課題に対処すること。
• 変分インファレンスや期待誤差法などの従来のベイジアンディープラーニング手法が抱える計算およびメモリの非効率性を克服すること。
• SGLDから得られる不確実性を蒸留することで、1つの高速推論モデルに統合し、ディープネットワークにおける効率的かつスケーラブルなベイジアン推論を可能にすること。
• アクティブラーニングやバンディット、強化学習など、信頼できる不確実性が不可欠な応用分野における予測不確実性推定を向上させること。

提案手法

• 確率的勾配ランジュヴィンダイナミクス（SGLD）を用いて、後方予測分布のモンテカルロ近似を生成し、これを「教師」とする。
• SGLD教師の予測分布を模倣するように、1つのディープニューラルネットワーク（「学生」）を訓練する。
• 学習中に、学生の予測出力とSGLD教師のアンサンブル出力との間のカルバック・ライブラー距離を最小化する。
• 教師の予測から生成された合成訓練データにノイズを追加し、その上で標準的なバックプロパゲーションを学生ネットワークに適用する。
• 蒸留プロセスの正則化と一般化性能の向上を図るため、学生の重みに事前分布を導入する。
• オンライン学習と適応的学習率、予測へのガウスノイズによるデータ拡張を用いて、学生の訓練安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのコンパクトなディープニューラルネットワークは、SGLDからのモンテカルロ後方分布の予測不確実性を効果的に近似できるか？
• RQ2 蒸留モデルの性能は、変分インファレンスや期待誤差法といった最先端のベイジアンディープラーニング手法と比べてどうか？
• RQ3 推論時間とメモリ使用量を削減しながら、元のSGLD後方分布の不確実性キャリブレーションをどの程度保持できるか？
• RQ4 非ベイジアンおよびベイジアンベースラインと比較して、標準ベンチマーク上での予測対数尤度は、蒸留モデルが維持または向上させるか？
• RQ5 アクティブラーニングやコンテキストバンディットのような、不確実性推定を要する下流タスクにおいて、蒸留モデルは有効に利用できるか？

主な発見

• ボストン・ハーベスティングデータセットにおいて、蒸留されたSGLDモデルはテスト対数尤度-2.350 ± 0.0762を達成し、SGD（-2.7639）を大きく上回り、SGLD教師（-2.306）と同等の性能を示した。
• MNISTでは、蒸留モデルが対数尤度-2.350 ± 0.0762を達成し、PBP（-2.574）やVI（-2.903）を上回り、完全なSGLDアンサンブルに近い性能を示した。
• 蒸留モデルはSGLDと同等の不確実性推定を提供しつつ、標準的なディープネットワークと同等の速度で推論が可能であり、モンテカルロ手法のS×の遅延を回避した。
• 1次元回帰のトイ問題における可視化分析から、蒸留モデルがHMCで得た真の後方予測分布をよく近似していることが確認された。
• 変分ベイズや期待誤差法よりも実装が単純で、複雑な後方分布の因数分解や反復的更新の必要がない。
• 単一モデルを用いるにもかかわらず、完全なSGLD後方分布からの性能低下が最小限に抑えられ、良好な不確実性キャリブレーションと一般化性能を維持した。