[論文レビュー] Uncertainty in the Variational Information Bottleneck

Alexander A. Alemi, Ian Fischer+1 more|arXiv (Cornell University)|Jul 2, 2018

Anomaly Detection Techniques and Applications参考文献 8被引用数 65

ひとこと要約

本論文は、Variational Information Bottleneck (VIB) が表現とレートの不確実性をモデリングすることにより、FashionMNIST におけるキャリブレーションされた予測と効果的なOOD検出を追加のキャリブレーションなしで実現することを示しています。

ABSTRACT

We present a simple case study, demonstrating that Variational Information Bottleneck (VIB) can improve a network's classification calibration as well as its ability to detect out-of-distribution data. Without explicitly being designed to do so, VIB gives two natural metrics for handling and quantifying uncertainty.

研究の動機と目的

• ニューラルネットワークにおけるアレアティック不確実性、認知的不確実性、OOD 不確実性の中で信頼できる不確実性量化を動機付ける。
• VIB が追加のキャリブレーション技術なしでキャリブレーションされた予測を提供することを示す。
• VIB のOOD検知と標準データセット上での頑健性に対する有効性を示す。

提案手法

• 情報ボトルネックの変分境界を用いて、確率的エンコーダ eθ(z|x) および変分的マージナル mφ(z) を学習する。
• 潜在コード Z からラベルを予測する変分分類器 qψ(y|z) を訓練する。
• バウンドを最適化して E[log qψ(y|z)] − β E[log (eθ(z|x)/mφ(z))] を最大化し、精度とレートをブレンドする。
• 二重確率性による不確実性のモデリング：Z と Y の両方のランダム性を取り入れ、予測の平均と分散を可能にする。
• 訓練およびテスト時に期待値を推定するためにモンテカルロサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 VIB はデeterministic ベースラインと比較してニューラルネットワークのキャリブレーションを改善するか。
• RQ2 ポストホックのキャリブレーションなしにVIBはOODデータの検出を改善できるか。
• RQ3 VIB の不確実性指標（例：レート R およびエントロピー H）はエラーおよびOOD検出性能とどのように関連するか。

主な発見

• VIB はベースラインの決定論的分類器よりもキャリブレーションが向上し、テストデータに対する過信を減らす。
• FashionMNIST では、VIB は約 92.8–92.9% の精度を達成し、ベースラインおよび温度スケーリングベースラインと比較してエラー検出指標が競争力を持つ。
• VIB はレート（R）とエントロピー（H）の2つの不確実性信号を提供し、OOD検出およびエラー検出を支援する。R はOOD検出に特に強い性能を示す。
• 温度スケーリングは依然として強力なポストホック手法であるが、VIB は温度スケーリングなしでキャリブレーションとOOD検出を改善でき、R は特定の OoD 信号に対して H より優れる場合がある。
• VIB の不確実性信号は、大きな分布の変化だけでなく、FashionMNIST データの鏡像や回転版を含む微妙な分布シフトを検出できる。