[論文レビュー] Prior choice affects ability of Bayesian neural networks to identify unknowns

Daniele Silvestro, Tobias Andermann|arXiv (Cornell University)|May 11, 2020

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

本研究では、ベイジアンニューラルネットワーク（BNNs）における事前分布が分類性能および不確実性推定に与える影響、特に分布外（未知）のインスタンスを特定する能力に注目している。4つのデータセットを用いて、4種類の事前分布（一様、正規、ラプラス、切断コーシー）に対してMCMCサンプリングとベイズ因子を適用した結果、事前分布の選択が真正陽性率および偽陽性率に顕著な影響を及ぼすことが判明したが、どのデータセットに対しても一貫して優れた性能を示す事前分布は存在しなかった。

ABSTRACT

Deep Bayesian neural networks (BNNs) are a powerful tool, though computationally demanding, to perform parameter estimation while jointly estimating uncertainty around predictions. BNNs are typically implemented using arbitrary normal-distributed prior distributions on the model parameters. Here, we explore the effects of different prior distributions on classification tasks in BNNs and evaluate the evidence supporting the predictions based on posterior probabilities approximated by Markov Chain Monte Carlo sampling and by computing Bayes factors. We show that the choice of priors has a substantial impact on the ability of the model to confidently assign data to the correct class (true positive rates). Prior choice also affects significantly the ability of a BNN to identify out-of-distribution instances as unknown (false positive rates). When comparing our results against neural networks (NN) with Monte Carlo dropout we found that BNNs generally outperform NNs. Finally, in our tests we did not find a single best choice as prior distribution. Instead, each dataset yielded the best results under a different prior, indicating that testing alternative options can improve the performance of BNNs.

研究の動機と目的

• 異なる事前分布が分類タスクにおけるベイジアンニューラルネットワークの性能に与える影響を評価すること。
• 事前分布の選択が、BNNが正しく分布内予測に対して高い信頼度を割り当てる能力（真正陽性率）に与える影響を評価すること。
• 事前分布が分布外インスタンスの検出（偽陽性率）に与える影響を調査すること。
• 不確実性の定量化および予測の信頼性の観点から、BNNとモンテカルロドロップアウトを用いた標準的なニューラルネットワークを比較すること。
• 多様なデータセットにおいて、一貫して最適な事前分布が存在するのか、それとも性能がデータセット固有の特性に依存するのかを特定すること。

提案手法

• 全結合型の深層ニューラルネットワークを2層の隠れ層とReLU活性化関数を用いて実装し、重みの事後分布からのサンプリングにMCMC（メトロポリス・ハスティングス法）を適用した。
• 4種類の事前分布を検討した：一様分布（U(−5,5)）、標準正規分布（N(0,1)）、ラプラス分布（Laplace(0,1)）、および±5で切断されたコーシー分布（C(0,1)）。
• クラス確率の計算にソフトマックス出力層を用い、予測の評価には事後確率とベイズ因子を用いた。
• 4つの異なるデータセット（I–IV）のサブセットを用いて学習を行い、1つ以上のクラスを分布外のテストインスタンスとして除外した。
• 各データセットに対して10回の独立実験を実施し、異なるランダムサブセットを用いて結果の安定性とばらつきを評価した。
• 固定入力に対して事前分布からサンプリングし予測を行うことで、クラスラベルの経験的事前確率を算出し、事前分布に起因するクラスの不均衡を評価した。

実験結果

リサーチクエスチョン

• RQ1 事前分布の選択が、BNNの分布内分類における真正陽性率にどのように影響するか？
• RQ2 事前分布の選択が、分布外（未知）インスタンスの検出における偽陽性率にどの程度影響を及ぼすか？
• RQ3 異なる事前分布が、事後確率およびベイズ因子によって測定される予測の統計的支援にどのように影響を及けるか？
• RQ4 異なる事前分布を用いたBNNは、モンテカルロドロップアウトを用いた標準的なニューラルネットワークと比較して、精度および不確実性推定の観点でどのように異なるか？
• RQ5 多様なデータセットにおいて、普遍的に最適な事前分布が存在するのか、それとも性能がデータセット固有の特性に依存するのか？

主な発見

• 事前分布の選択がBNNの真正陽性率に顕著に影響し、同じデータセットにおいても異なる事前分布で性能が著しく変動することが判明した。
• データセットIでは切断コーシー事前分布が最高の真正陽性率（0.997）を達成したが、データセットIIではラプラス事前分布（0.575）、データセットIVでは同様にラプラス事前分布（0.753）が最良の性能を示した。
• 分布外検出における偽陽性率は事前分布によって大きく変動し、一様事前分布はデータセットIVで最低の偽陽性率（0.001）を示した一方、ラプラス事前分布は最高の偽陽性率（0.061）を示した。
• BNNは、特に未知のインスタンスの特定において、モンテカルロドロップアウトを用いた標準的なニューラルネットワークよりも一貫して高い精度と不確実性推定性能を示した。
• どのデータセットに対しても一貫して最良の性能を示す単一の事前分布は存在せず、各データセットで最適な性能を示すのは異なる事前分布であった。
• 全テスト事前分布において、クラスの経験的事前確率が不均衡であったため、事前分布がデータが観測される前からクラス割り当てに系統的なバイアスをもたらすことが示された。