[論文レビュー] BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty

Théo Guénais, Dimitris Vamvourellis+3 more|arXiv (Cornell University)|Jul 12, 2020

Anomaly Detection Techniques and Applications参考文献 28被引用数 5

ひとこと要約

BaCOUn は、データ生成器を導入して分布外（OOD）に類似した境界点を生成することにより、信頼性のある不確実性推定を実現するスケーラブルなベイジアンフレームワークを提案する。正規化フローを用いてデータ多様体をモデル化し、特徴量に対してベイジアン推論を適用することで、GPに類似した不確実性分解（エピステミックとアレアトリック）を達成する。合成データおよび実世界のデータセットにおいて、標準的なNLMやBNNを上回るOOD検出性能と不確実性のキャリブレーションを実現する。

ABSTRACT

Traditional training of deep classifiers yields overconfident models that are not reliable under dataset shift. We propose a Bayesian framework to obtain reliable uncertainty estimates for deep classifiers. Our approach consists of a plug-in "generator" used to augment the data with an additional class of points that lie on the boundary of the training data, followed by Bayesian inference on top of features that are trained to distinguish these "out-of-distribution" points.

研究の動機と目的

• 標準的なニューラル線形モデル（NLM）には、データが乏しい領域でエピステミック不確実性を高められないという信頼性のないOOD不確実性推定の欠如に対処すること。
• BNNやガウス過程（GPs）の代替としてスケーラブルであり、エピステミック（OODおよびモデル不確実性）とアレアトリック不確実性を正確に分解できるフレームワークを構築すること。
• 医療診断など高リスク分野における実用的導入を可能にし、人間が意思決定に参加する状況でモデルの信頼性がキャリブレーションされるようにすること。
• OOD不確実性をNLMで効果的にモデル化するため、境界に配慮したデータ拡張を組み込んだ訓練目的関数の変更を示すこと。

提案手法

• プラグイン型の生成器が、学習データ多様体の境界に位置する合成された分布外（OOD）点を生成し、データが乏しい領域を模倣する。
• 正規化フローを、元のデータと生成されたOOD点の両方で訓練し、潜在的なデータ密度と幾何構造をモデル化する。
• 特徴マップ φθ を、分布内とOODの点を区別できるように訓練することで、不確実性推定に向けた表現の表現力が向上する。
• ベイジアン推論は最終層の重み W のみに適用され、事前分布 p(W) を用いることで、解析的後方分布の計算と予測不確実性推定が可能になる。
• 後方予測分布は p(y*|x*, D) = ∫ p(y*|x*, W) p(W|D, θ*) dW として計算され、不確実性を考慮した予測が可能になる。
• 外れ値検出は、正規化フローの対数確率スコアを用いてデータ点をランク付けし、スコアが最も低い k 個の点を削除することで実施される。

実験結果

リサーチクエスチョン

• RQ1 標準的なニューラル線形モデル（NLM）は、ベイジアン定式化を採用しているにもかかわらず、なぜ分布外入力に対してエピステミック不確実性を高められないのか？
• RQ2 ガウス過程（GPs）に類似した正確なOOD不確実性推定を提供しつつ、NLMの効率性を維持するスケーラブルなベイジアンフレームワークを設計できるか？
• RQ3 訓練目的関数をどのように変更すれば、高尤度領域を包囲する意思決定境界を促進し、OOD一般化を向上させられるか？
• RQ4 事前に分布を知らない状況でも、正規化フローを効果的に外れ値検出および削除に用いることができるか？

主な発見

• 合成データセットでは、BaCOUn はガウス過程と類似した不確実性推定を達成し、特にOOD点に対してエピステミック不確実性が高くなるのに対し、ベースラインのNLMやBNNは著しくそれを低く見積もっている。
• 実世界のデータセットでは、BaCOUn は分布内データで高いAUCを達成し、分布内とOODのテストサンプルを区別する能力が優れている。
• MNISTの数字に徐々にノイズを加える実験では、BaCOUn はデータ点が多様体から遠ざかるにつれてエピステミック不確実性を正しく高めるが、ベースラインのNLMはそのような増加を示さない。
• 視覚化による正規化フローの対数確率ヒートマップとkポイント選択結果から、合成データに人工的な摂動を加えた場合に、外れ値が効果的に同定・削除されていることが示された。
• 回転させたMNISTの数字（例：『9』を回転させて『6』に見えるもの）に対しても、BaCOUn は低い不確実性を維持しており、分布シフトに対して堅牢であることが示された。
• フレームワークにより、不確実性の分離が可能になった：エピステミック不確実性はOOD距離に応じて増加するが、アレアトリック不確実性は安定を保ち、モデルが不確実性の原因を正しく理解していることが裏付けられた。