[論文レビュー] Representing inferential uncertainty in deep neural networks through sampling

Patrick McClure, Nikolaus Kriegeskorte|arXiv (Cornell University)|Apr 24, 2017

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

本稿では、標準的なDNNよりも推論の不確実性をより正確に表現するため、組みわされたベルヌーイドロップアウトとガウスドロップコネクトを用いたベイジアン深層ニューラルネットワークの使用を提案する。スパイクアンドスラブに類似した変分推論による重みのサンプリングにより、MNISTおよびCIFAR-10の両データセットで高い分類精度を達成するとともに、不確実性のモデル化が安定し、標準的なDNNおよびユニットまたは重みのサンプリングのみを用いる手法を上回る。

ABSTRACT

As deep neural networks (DNNs) are applied to increasingly challenging problems, they will need to be able to represent their own uncertainty. Modelling uncertainty is one of the key features of Bayesian methods. Bayesian DNNs that use dropout-based variational distributions and scale to complex tasks have recently been proposed. We evaluate Bayesian DNNs trained with Bernoulli or Gaussian multiplicative masking of either the units (dropout) or the weights (dropconnect). We compare these Bayesian DNNs ability to represent their uncertainty about their outputs through sampling during inference. We tested the calibration of these Bayesian fully connected and convolutional DNNs on two visual inference tasks (MNIST and CIFAR-10). By adding different levels of Gaussian noise to the test images, we assessed how these DNNs represented their uncertainty about regions of input space not covered by the training set. These Bayesian DNNs represented their own uncertainty more accurately than traditional DNNs with a softmax output. We find that sampling of weights, whether Gaussian or Bernoulli, led to more accurate representation of uncertainty compared to sampling of units. However, sampling units using either Gaussian or Bernoulli dropout led to increased convolutional neural network (CNN) classification accuracy. Based on these findings we use both Bernoulli dropout and Gaussian dropconnect concurrently, which approximates the use of a spike-and-slab variational distribution. We find that networks with spike-and-slab sampling combine the advantages of the other methods: they classify with high accuracy and robustly represent the uncertainty of their classifications for all tested architectures.

研究の動機と目的

• 実世界の展開において信頼性の高い信頼度推定が不可欠である分野における、深層ニューラルネットワークにおける不確実性表現の改善。
• ユニットドロップアウトと重みドロップコネクトの異なるサンプリング戦略が、DNNにおける不確実性のキャリブレーションに与える影響の評価。
• ベルヌーイ分布とガウス分布の両方のサンプリングメカニズムを組みわせることで、分類精度と不確実性推定の両方を向上させられるかの調査。
• テスト入力にノイズを加えることで、分布シフト下における不確実性表現の堅牢性の評価。
• 複雑な視覚的タスクにスケーラブルでありながら、不確実性への意識を維持する実用的なベイジアン深層学習アプローチの開発。

提案手法

• 推論時にネットワークユニットをサンプリングするため、ベルヌーイドロップアウトを用いた変分推論を用いる。
• 重みをサンプリングするため、ガウスドロップコネクトを適用し、確率的重み更新を可能にする。
• ベルヌーイドロップアウトとガウスドロップコネクトを組みわせ、スパイクアンドスラブに類似した変分分布を近似する。
• 前方伝播時にサンプリングを含める stochastic gradient descent を用いて、MNISTおよびCIFAR-10でベイジアン全結合および畳み込みネットワークを学習する。
• テスト入力に異なるノイズレベルを加えた状態で、ネットワーク出力のモンテカルロサンプリングにより不確実性を評価する。
• 腐敗させたテスト画像における予測分散と予測誤差の比較により、不確実性のキャリブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 DNNにおける不確実性表現において、重みのサンプリング（ドロップコネクト）とユニットのサンプリング（ドロップアウト）のどちらが優れているか。
• RQ2 ベルヌーイ分布とガウス分布の両方のサンプリングメカニズムを組みわせることで、分類精度と不確実性推定の両方を向上させられるか。
• RQ3 ガウスノイズを追加したテストで、分布外入力に対するベイジアンDNNが不確実性をどれほど正確に表現できるか。
• RQ4 スパイクアンドスラブに類似したサンプリング戦略は、個別のサンプリング手法よりも優れたキャリブレーションをもたらすか。
• RQ5 提案された不確実性表現フレームワーク下で、全結合型と畳み込み型の異なるアーキテクチャは、それぞれどのように性能を発揮するか。

主な発見

• ガウスドロップコネクトを用いた重みのサンプリングにより、ベルヌーイドロップアウトによるユニットのサンプリングよりも、より正確な不確実性表現が達成された。
• ベルヌーイまたはガウスドロップアウトによるユニットのサンプリングは、CIFAR-10およびMNISTの両方で分類精度を向上させた。
• ベルヌーイドロップアウトとガウスドロップコネクトを併用することで、単独で使用する手法よりも高い分類精度が得られた。
• スパイクアンドスラブに類似したサンプリング戦略は、すべてのテストされたアーキテクチャおよびデータセットで不確実性を堅牢に表現した。
• 組みわせたサンプリングを用いたベイジアンDNNは、分布シフト下でソフトマックス出力を用いた標準DNNよりも、不確実性のキャリブレーションが優れていた。
• テスト入力にガウスノイズを加えることで、提案手法が標準DNNとは異なり、良好にキャリブレートされた不確実性推定を維持していることが明らかになった。