[論文レビュー] Fast Predictive Uncertainty for Classification with Bayesian Deep Networks

Marius Hobbhahn, Agustinus Kristiadi+1 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 9

ひとこと要約

本稿では、ベイジアンニューラルネットワークにおける予測不確実性を推定する高速で解析的な手法を提案する。ラプラスブリッジを用いて、ネットワークのログィット上のガウス分布をソフトマックス出力上のディリクレ分布に写像することで実現される。この手法により、1回の予測あたりO(K)の計算量で効率的な不確実性評価が可能となり、モンテカルロサンプリングを上回り、ImageNet上でのトップ-k正解率を向上させつつ、推論コストを低く保つことができる。

ABSTRACT

In Bayesian Deep Learning, distributions over the output of classification neural networks are often approximated by first constructing a Gaussian distribution over the weights, then sampling from it to receive a distribution over the softmax outputs. This is costly. We reconsider old work (Laplace Bridge) to construct a Dirichlet approximation of this softmax output distribution, which yields an analytic map between Gaussian distributions in logit space and Dirichlet distributions (the conjugate prior to the Categorical distribution) in the output space. Importantly, the vanilla Laplace Bridge comes with certain limitations. We analyze those and suggest a simple solution that compares favorably to other commonly used estimates of the softmax-Gaussian integral. We demonstrate that the resulting Dirichlet distribution has multiple advantages, in particular, more efficient computation of the uncertainty estimate and scaling to large datasets and networks like ImageNet and DenseNet. We further demonstrate the usefulness of this Dirichlet approximation by using it to construct a lightweight uncertainty-aware output ranking for ImageNet.

研究の動機と目的

• ベイジアンニューラルネットワークにおける不確実性推定のためのモンテカルロサンプリングの高い計算コストを解消すること。
• 大規模分類タスクにおける予測不確実性を効率的かつ解析的に計算可能にする手法の実現。
• ディリクレ不確実性推定を用いて、軽量で適応的なトップ-k順位付けシステムを構築することで、不確実性認識予測を向上させること。
• 実用的応用において問題となる、単純なラプラスブリッジの限界を是正すること。

提案手法

• ラプラスブリッジを逆方向に適用：ログィット上のガウス近似から、ソフトマックス出力上のディリクレ近似へと変換する。
• 逆ソフトマックス関数を用いた基底変換により、ディリクレ分布がラプラス近似に適合しやすくなるようにする。
• 特にディリクレ分布の非ガウス的サポートやマルチモーダルな挙動に対処するため、単純なラプラスブリッジの限界を是正する補正を導入する。
• 得られたディリクレ分布を用いて、個々のベータ分布の分位数に基づく重複検出により、不確実性認識トップ-k予測を計算する。
• アルゴリズムは不確実性の重複に基づいて動的にクラスのリストを選択し、高い信頼性を保ちつつリスト長を適応的に調整する。
• 本手法は、ラプラス法や変分推論による任意のガウス事後分布近似と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 ラプラスブリッジは、ベイジアンディープラーニングにおける高速で解析的な不確実性推定に効果的に適応可能か？
• RQ2 補正済みラプラスブリッジは、モンテカルロサンプリングや他の統積分近似と比較して、精度と効率の点で優れているか？
• RQ3 ディリクル近似は、ImageNet などの大規模データセットでもスケーラブルな不確実性推定を可能にするか？
• RQ4 不確実性認識トップ-k予測は、推論コストを低く保ちながらモデル性能を向上させられるか？
• RQ5 適応的不確実性ベース順位付けは、高信頼度の予測を保持しながらリスト長を短縮できるか？

主な発見

• 提案手法は、ImageNet において平均リスト長が3未満で、トップ-k正解率が85％以上を達成し、標準的なトップ-1正解率74.4％を顕著に上回った。
• 不確実性認識トップ-k手法は高い信頼性を維持しており、多数の予測が依然として正しいトップ-1ラベルを出力しており、不確実性が基本性能を低下させないことが示された。
• テスト時の推論コストがO(K)の計算量に削減され、モンテカルロサンプリングに比べて顕著な高速化が達成された。
• 補正済みラプラスブリッジは、ソフトマックス-ガウス積分を推定する分野で、一般的なマルチクラスプロビット近似よりも優れた性能を示した。
• 本手法は予測リスト長の適応的制御が可能であり、k=2, 3, 10といった非無視可能なケースが存在することから、実用的な柔軟性を示した。
• DenseNet などの大規模モデルに対してもスケーラブルで効果的であり、リアルタイムでの不確実性認識デプロイメントへの応用が有望である。