[論文レビュー] Bayesian OOD detection with aleatoric uncertainty and outlier exposure

Xi Wang, Laurence Aitchison|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 4

ひとこと要約

本論文は、アンビグアスで定義されていないクラスラベル画像（UCLポイント）がアノテータの合意不一致を引き起こし、それによってアレアトリック不確実性が信号として現れるというコンSENSUSプロセスとしてのデータセットキュレーションをモデル化することで、Aleatoric不確実性とオーバーオブザリミットエクposure（OE）を統合した原理的でベイジアンなフレームワークを提案する。この不確実性は、OODポイントの尤度として形式化され、OEを伴うベイジアン推論を可能にする。本手法は、OOD検出ベンチマークにおいて、標準的なベイジアン手法やアレアトリック不確実性アプローチを上回る性能を発揮する。

ABSTRACT

Typical Bayesian approaches to OOD detection use epistemic uncertainty. Surprisingly from the Bayesian perspective, there are a number of methods that successfully use aleatoric uncertainty to detect OOD points (e.g. Hendryks et al. 2018). In addition, it is difficult to use outlier exposure to improve a Bayesian OOD detection model, as it is not clear whether it is possible or desirable to increase posterior (epistemic) uncertainty at outlier points. We show that a generative model of data curation provides a principled account of aleatoric uncertainty for OOD detection. In particular, aleatoric uncertainty signals a specific type of OOD point: one without a well-defined class-label, and our model of data curation gives a likelihood for these points, giving us a mechanism for conditioning on outlier points and thus performing principled Bayesian outlier exposure. Our principled Bayesian approach, combining aleatoric and epistemic uncertainty with outlier exposure performs better than methods using aleatoric or epistemic alone.

研究の動機と目的

• OOD検出におけるオーバーオブザリミットエクposure（OE）の原理的でベイジアンな統合の欠如に対処すること。
• アレアトリック不確実性を用いて、定義されていないクラスラベルを持つOODポイント（UCLポイント）に対して形式的な尤度を提供すること。
• エピステミック不確実性、アレアトリック不確実性、OEを1つのベイジアンフレームワークに統合すること。
• データセットキュレーション中の人間のアノテータのコンセンサスをモデル化することで、OOD検出性能を向上させること。

提案手法

• 複数のアノテータ間のコンセンサスプロセスとしてデータセットキュレーションをモデル化し、合意がある場合は明確に定義されたクラスラベル、不一致がある場合は定義されていないラベル（UCLポイント）を示す。
• アノテータの反応の不一致をアレアトリック不確実性として形式化し、これとモデルの予測確率を関連付ける。
• コンセンサス失敗の確率に基づいてUCLポイントの尤度関数を導出することで、OODポイントに対する原理的でベイジアンな推論を可能にする。
• この尤度関数をベイジアンニューラルネットワーク（BNN）の訓練に統合し、オーバーオブザリミットエクステンションを尤度項として扱えるようにする。
• 生成モデルを用いて、定義されていないラベルを持つOODポイントを条件づけることで、恣意的な目的関数を用いずにベイジアンOEを実現する。
• BNNからのエピステミック不確実性と、コンセンサス失敗からのアレアトリック不確実性を組み合わせることで、OOD検出性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アレアトリック不確実性は、ベイジアンフレームワークにおいて、OOD検出の信号として形式的に正当化可能か？
• RQ2 UCLポイントの尤度を用いて、原理的な尤度を用いてオーバーオブザリミットエクステンションをベイジアンOOD検出に統合できるか？
• RQ3 データセットキュレーションの生成モデルは、なぜアレアトリック不確実性が特定の種類のOODデータを検出できるのかを説明できるか？
• RQ4 アレアトリック不確実性、エピステミック不確実性、およびベイジアンオーバーオブザリミットエクステンションを組み合わせることで、OOD検出性能が向上するか？

主な発見

• 提案手法は、オーバーオブザリミットエクステンションを用いないベースラインベイジアン手法よりも優れたAUROCおよびFPR95スコアを達成した。
• 尤度の形式的でないOEを用いる標準的なアレアトリック不確実性ベースの手法（例：Hendrycks et al., 2018）を上回った。
• UCLポイントの尤度に基づくオーバーオブザリミットエクステンションの統合により、OOD検出性能に顕著な向上が見られた。
• アレアトリック不確実性は、コンセンサスに基づく生成モデルによって確認されたように、定義されていないクラスラベルを持つOODポイントを効果的に信号として検出できる。
• 本手法は、従来の恣意的なOE目的関数の曖昧さを解消し、OEに形式的なベイジアン解釈を提供した。