[論文レビュー] Known Unknowns: Uncertainty Quality in Bayesian Neural Networks

Ramón de Oliveira, Pedro Tabacof+1 more|arXiv (Cornell University)|Dec 5, 2016

Adversarial Robustness in Machine Learning参考文献 8被引用数 4

ひとこと要約

本稿では、ベイジアンニューラルネットワークにおける不確実性推定のための計算効率の良い手法であるワンサンプルベイジアン近似（OSBA）を提案する。1つのミニバッチあたり重み行列を1回だけサンプリングし、その結果をバッチ内のすべての例に再利用することで、標準的な変分推論と同等の不確実性品質を達成しつつ、約10倍の高速化を実現した。MNISTおよびCIFAR10における異常検出AUCスコアでは、最大尤度法を上回り、ベイジアンドロップアウトと同等の性能を示した。

ABSTRACT

We evaluate the uncertainty quality in neural networks using anomaly detection. We extract uncertainty measures (e.g. entropy) from the predictions of candidate models, use those measures as features for an anomaly detector, and gauge how well the detector differentiates known from unknown classes. We assign higher uncertainty quality to candidate models that lead to better detectors. We also propose a novel method for sampling a variational approximation of a Bayesian neural network, called One-Sample Bayesian Approximation (OSBA). We experiment on two datasets, MNIST and CIFAR10. We compare the following candidate neural network models: Maximum Likelihood, Bayesian Dropout, OSBA, and --- for MNIST --- the standard variational approximation. We show that Bayesian Dropout and OSBA provide better uncertainty information than Maximum Likelihood, and are essentially equivalent to the standard variational approximation, but much faster.

研究の動機と目的

• ニューラルネットワークにおける不確実性推定の品質を、異常検出を代理指標として評価すること。
• 標準的な変分推論の計算効率の良い代替手法を開発すること。
• 最大尤度法、ベイジアンドロップアウト、標準的な変分推論、および提案手法OSBAの不確実性品質を比較すること。
• 不確実性品質が、特にCIFAR10のような意味的重複を示すデータセットにおけるクラス分離性に依存するかどうかを評価すること。
• 改善された不確実性品質が、予測精度の向上によるものではなく、より良い確率的キャリブレーションによるものであることを示すこと。

提案手法

• 重み行列を1つのミニバッチごとに1回だけサンプリングし、そのバッチ内のすべての例に再利用するワンサンプルベイジアン近似（OSBA）を提案する。
• Blundellら（2015）の変分推論フレームワークを採用するが、個々のデータポイントからの重みサンプリングを分離することで計算コストを低減する。
• モデル出力から得られる不確実性指標（例：予測エントロピー）を特徴量として用い、線形異常検出器を構築する。
• 不確実性品質の評価指標としてAUCを用い、既知クラス（In）と未知クラス（Out）を区別するように異常検出器を学習する。
• 2つの実験プロトコルを適用する：ブラインド（訓練時に未知クラスを含めない）とキャリブレート（訓練時に一様ラベルの未知クラスを含める）。
• MNISTおよびCIFAR10で、100回の反復を実施し、In、Out、および（キャリブレート条件下で）未知クラスをランダムに分割して評価する。

実験結果

リサーチクエスチョン

• RQ1 異常検出は、ニューラルネットワークにおける不確実性品質を測定するための信頼できる代理指標とみなせるか？
• RQ2 ベイジアンニューラルネットワークにおける不確実性品質は、最大尤度モデルと比較して、異常検出性能においてどのように異なるか？
• RQ3 OSBAは、標準的な変分推論と同等の不確実性品質を達成しつつ、著しく高速化できるか？
• RQ4 CIFAR10のようなデータセットにおけるクラスの重なり具合が、不確実性品質の検出可能性にどのように影響するか？
• RQ5 改善された不確実性品質は、より良い予測精度によるものか、それとも強化された確率的キャリブレーションによるものか？

主な発見

• MNISTでは、ベイジアンドロップアウトとOSBAが、最大尤度法よりも顕著に高い異常検出AUCスコアを達成しており、より優れた不確実性品質を示している。
• OSBAは、標準的な変分推論（SV）と同等の不確実性品質を達成しており、10倍の高速化を実現した。これにより、SVの30倍、ベイジアンドロップアウトの3倍の高速化が達成された。
• CIFAR10では、クラス境界が明確でないため、モデル間の性能差は統計的に有意ではなく、不確実性品質の指標がデータセットの意味的特性に敏感であることが示唆された。
• キャリブレートプロトコルは、モデル選択よりも異常検出AUCスコアの向上に寄与したが、人工的な未知クラスデータを必要とするため、現実的ではない。
• すべてのモデルがほぼ同一のテスト精度（例：MNISTでは99.1％）を達成しており、改善された不確実性品質は予測精度の向上ではなく、確率的キャリブレーションの向上によるものであることが確認された。
• OSBAは計算コストを低減しながらも高い不確実性品質を維持しており、高速かつ信頼性の高い不確実性推定を必要とする実世界の応用において有望な代替手法である。