[論文レビュー] Out-of-distribution Detection in Classifiers via Generation

Sachin Vernekar, Ashish Gaurav+4 more|arXiv (Cornell University)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 45

ひとこと要約

本論文は、効果的なOODサンプル（Type IおよびType II）を生成するCVAEベースの手法を導入し、頑健なOOD検出のためにn+1クラス分類器を訓練し、MNISTおよびFashion-MNISTでベースラインより性能が向上することを示す。

ABSTRACT

By design, discriminatively trained neural network classifiers produce reliable predictions only for in-distribution samples. For their real-world deployments, detecting out-of-distribution (OOD) samples is essential. Assuming OOD to be outside the closed boundary of in-distribution, typical neural classifiers do not contain the knowledge of this boundary for OOD detection during inference. There have been recent approaches to instill this knowledge in classifiers by explicitly training the classifier with OOD samples close to the in-distribution boundary. However, these generated samples fail to cover the entire in-distribution boundary effectively, thereby resulting in a sub-optimal OOD detector. In this paper, we analyze the feasibility of such approaches by investigating the complexity of producing such "effective" OOD samples. We also propose a novel algorithm to generate such samples using a manifold learning network (e.g., variational autoencoder) and then train an n+1 classifier for OOD detection, where the $n+1^{th}$ class represents the OOD samples. We compare our approach against several recent classifier-based OOD detectors on MNIST and Fashion-MNIST datasets. Overall the proposed approach consistently performs better than the others.

研究の動機と目的

• 実世界の展開で用いられる識別的に訓練された分類器における信頼性の高いOOD検出の必要性を動機づける。
• 多様で境界を網羅するOODサンプルを流形学習を用いて生成する体系だった方法を提案する。
• 追加クラスがOODサンプルを表すn+1クラスソフトマックス分類器を訓練し、境界の区分を改善する。
• 2つのOODサンプルカテゴリ（Type IとType II）を分析し、それらがインディストリビューション境界をどのようにカバーするかを示す。
• MNISTおよびFashion-MNISTデータセットで、分類器ベースのOOD検出器と経験的に比較する。

提案手法

• クラスごとにデータの流形をモデリングするために、条件付き変分オートエンコーダ（CVAE）を活用する。
• Type I OODサンプルを、データ流形に法線方向に摂動させることによって生成する（CVAEデコーダのヤコビアンの左ヌル空間方向）。
• Type II OODサンプルを、潜在空間におけるCVAE集約事後分布の低密度領域からサンプルし、入力空間へデコードして生成する。
• 標準のクロスエントロピーを用いてn+1クラス分類器を訓練し、n+1番目のクラスがOODサンプルを表すようにする。
• OODクラスの確率をOODスコアとして検出に用いる。
• MNISTおよびFashion-MNISTで、Confident-Classifier、ODIN、Mahalanobis距離といったベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 CVAEベースの生成は、GANベースのアプローチよりもインディストリビューション境界を効果的にカバーするOODサンプルを生み出せるか？
• RQ2 Type IとType IIのOODサンプルは、n+1クラス分類器の訓練で堅牢なOOD検出器を生み出すために相補的か？
• RQ3 提案手法のOOD生成戦略は、複数のOODデータセットにおける最先端の分類器ベース検出器と比較してどう性能が出るか？
• RQ4 OODサンプルで訓練した場合、インディストリビューションの分類精度に測定可能な影響はあるか？
• RQ5 異なるインディストリビューションデータセット（MNIST対Fashion-MNIST）および多様なOODソースに対して、手法はどれだけ堅牢か？

主な発見

• 提案手法は、MNISTおよびFashion-MNISTで複数のOODデータセットに対して、いくつかの分類器ベースのOOD検出器を上回る。
• CVAEを介して生成されたType IおよびType II OODサンプルは、インディストリビューション境界の多様なカバーを提供する。
• 生成したOODサンプル（n+1クラス）で訓練しても、インディストリビューション精度の著しい低下は生じない。
• この手法は多様なOODデータセットに対して堅牢で、摂動の大きさのデータセット毎のハイパーパラメータ調整を必要としない。
• Confident-Classifierのベースラインと比較して、提案手法は複数の指標（AUROC、AUPR、FPR、検出エラー）で大幅な改善をもたらす。
• 本手法は、流形ベースの生成過程を通じて“効果的”なOODサンプルを生成する複雑さを直感的に測る指標を提供する。