[論文レビュー] Robustly representing uncertainty in deep neural networks through sampling

Patrick McClure, Nikolaus Kriegeskorte|arXiv (Cornell University)|Nov 5, 2016

Adversarial Robustness in Machine Learning参考文献 14被引用数 16

ひとこと要約

本稿では、ドロップアウトとドロップコネクトを用いた変分推論により、深層ニューラルネットワークにおける不確実性をロバストに表現するサンプリングベースの手法を提案する。ベルヌーイ分布ドロップアウトとガウス分布ドロップコネクトを組み合わせることで、パrameterを増加させることなくスパイクアンドスレッドの変分分布を近似可能となり、単独で用いるいずれの手法よりも優れたテスト精度とより信頼性の高い不確実性キャリブレーションを達成する。

ABSTRACT

As deep neural networks (DNNs) are applied to increasingly challenging problems, they will need to be able to represent their own uncertainty. Modeling uncertainty is one of the key features of Bayesian methods. Using Bernoulli dropout with sampling at prediction time has recently been proposed as an efficient and well performing variational inference method for DNNs. However, sampling from other multiplicative noise based variational distributions has not been investigated in depth. We evaluated Bayesian DNNs trained with Bernoulli or Gaussian multiplicative masking of either the units (dropout) or the weights (dropconnect). We tested the calibration of the probabilistic predictions of Bayesian convolutional neural networks (CNNs) on MNIST and CIFAR-10. Sampling at prediction time increased the calibration of the DNNs' probabalistic predictions. Sampling weights, whether Gaussian or Bernoulli, led to more robust representation of uncertainty compared to sampling of units. However, using either Gaussian or Bernoulli dropout led to increased test set classification accuracy. Based on these findings we used both Bernoulli dropout and Gaussian dropconnect concurrently, which we show approximates the use of a spike-and-slab variational distribution without increasing the number of learned parameters. We found that spike-and-slab sampling had higher test set performance than Gaussian dropconnect and more robustly represented its uncertainty compared to Bernoulli dropout.

研究の動機と目的

• サンプリングベースの変分推論手法の評価を通じて、深層ニューラルネットワークにおける不確実性表現の向上を図ること。
• 画像分類タスクにおける異なる変分分布（ベルヌーイ分布ドロップアウト、ガウス分布ドロップアウト、ドロップコネクト、スパイクアンドスレッド近似）の性能とロバスト性を比較すること。
• ベルヌーイ分布ドロップアウトとガウス分布ドロップコネクトを組み合わせることで、学習パラメータを増加させずにスパイクアンドスレッド変分推論の効率的かつパラメータ効率の良い近似を構築すること。
• ノイズを含むテスト入力における一般化性能を評価することで、これらの手法が分布シフト下でどの程度効果を発揮するかを検証すること。

提案手法

• 著者らは、ネットワーク重みの事後分布を近似するために変分推論を用い、真の事後分布とのKLダイバージェンスを最小化する。
• 複数のサンプリング戦略を評価：ユニット（ドロップアウト）または重み（ドロップコネクト）に適用するベルヌーイ分布およびガウス分布の乗法的ノイズ。
• 予測時におけるモンテカルロサンプリングを用いて、予測の不確実性を推定し、キャリブレーションを向上させる。
• ベルヌーイ分布ドロップアウトとガウス分布ドロップコネクトを組み合わせる新規手法を提案し、学習パラメータの増加なしにスパイクアンドスレッドの変分分布を近似する。
• 分布シフトを模倣するため、MNISTおよびCIFAR-10のテストセットにガウスノイズを追加して評価を実施。
• キャリブレーションは、ノイズレベルごとに予測確率と実際のラベル頻度の間の平均二乗誤差を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 予測時におけるサンプリングは、分布シフト下でも深層ニューラルネットワークの予測のキャリブレーションにどのように影響するか？
• RQ2 ベルヌーイ分布とガウス分布、ドロップアウトとドロップコネクトといった異なる変分分布は、不確実性表現とテスト精度の観点でどのように比較できるか？
• RQ3 ベルヌーイ分布ドロップアウトとガウス分布ドロップコネクトを併用することで、モデルパラメータを増加させずにスパイクアンドスレッドの変分分布を効果的に近似できるか？
• RQ4 ドロップアウト率とノイズ分散の選択が、ノイズを含む入力下におけるベイジアンDNNのロバスト性と性能にどのように影響するか？

主な発見

• 予測時におけるサンプリングは、すべてのモデルにおいて一貫して確率的予測のキャリブレーションを向上させ、特に分布シフト下で顕著な効果を示した。
• CIFAR-10ではガウス分布ドロップコネクトが最高のテストセット精度を達成したが、入力ノイズに対してベルヌーイ分布ドロップアウトよりも脆弱であった。
• ベルヌーイ分布ドロップアウトとスパイクアンドスレッドドロップアウトは、入力ノイズに対してより高いロバスト性を示し、高分散ノイズ下でも良好なキャリブレーションを維持した。
• 提案手法であるベルヌーイ分布ドロップアウトとガウス分布ドロップコネクトの組み合わせは、効果的にスパイクアンドスレッド分布を近似でき、ガウス分布ドロップコネクトよりも高いテスト精度、ベルヌーイ分布ドロップアウトよりも優れた不確実性キャリブレーションを達成した。
• より高い分散を持つドロップアウトスケジューリングを用いたサンプリングは、より大きな性能向上をもたらした。これは、MCサンプリングがハイパーパramータ選択への感受性を低減することを示している。
• CIFAR-10では、高分散ドロップアウト下でMCサンプリングが性能向上に顕著に寄与した。これは、正則化と安定性が向上したことを示唆している。