[論文レビュー] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee+2 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Statistical Process Monitoring被引用数 365

ひとこと要約

この論文は、分布外（OOD）データに対して低信頼度を生むよう分類器を訓練する信頼度損失を提案し、境界のようなOODサンプルを生成するGANを導入して、 confident classifierと adversarial generatorを共同訓練し、OOD検出を改善しつつ分布内の精度を損なわない。

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

研究の動機と目的

• しばしば過信的になりがちな分類器の分布外サンプル検出問題を動機づけ、形式化する。
• 分布外入力に対するモデルの信頼度を低下させつつ、分布内の精度を維持する信頼度損失を導入する。
• 分布内境界近くに位置する有用なOODサンプルを生成する対抗的生成器（GAN）を開発する。
• 分類器とGANが相互に改善し合う共同訓練方式を提案し、データセット全体でのOOD検出を向上させる。
• 分類性能を損なうことなく、複数の画像データセットでのOOD検出性能の改善を実証する。

提案手法

• 分布外 x に対して P_theta(y|x) が均一に近づくよう KL発散項を追加する信頼度損失を定義し、分布内 x では標準のクロスエントロピーを維持する。
• GAN を導入する：(i) 分布内境界に近い OOD サンプルを、分類器に関して KL ベースの項を最小化することで生成し、(ii) 生成サンプルを分布内に近づけるよう標準的な GAN 損失を用いる。
• 分類器損失と GAN 損失を結合した共同目的関数を定式化し、(G,D) と分類器パラメータ theta の交互最適化を可能にする。
• (Algorithm 1) のような交互訓練アルゴリズムを提供し、信頼度の高い分類器と対立的生成器の両方を段階的に改良し、単調な目的関数の減少による収束保証を得る。
• CNN（例：VGGNet、AlexNet）を用いて CIFAR-10、SVHN、ImageNet、LSUN、Gaussian ノイズで評価し、閾値ベースの検出器と標準的なOOD指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 信頼度ベースの目的関数は、分布内外の予測の分離性を向上させつつ、分布内の精度を損なうことなく改善できるか？
• RQ2 特定設計のGANによって近境界のOODサンプルで訓練することは、汎用的または合成のOODデータを用いるよりも優れたOOD検出器を生み出すか？
• RQ3 自信を持つ分類器と対抗的生成器の共同訓練は、複数のデータセットと検出器において一貫した改善を生むか？
• RQ4 提案された損失を用いた場合、さまざまな分布外の選択（seen vs unseen）はOOD検出性能にどう影響するか？

主な発見

分布内	分布外	分類精度	TPR 95% における TNR	AUROC	検出精度	AUPR in	AUPR out
SVHN	CIFAR-10 (seen)	93.82 / 94.23	47.4 / 99.9	62.6 / 99.9	78.6 / 99.9	71.6 / 99.9	91.2 / 99.4
TinyImageNet (unseen)	(unseen)	49.0 / 100.0	64.6 / 100.0	79.6 / 100.0	72.7 / 100.0	91.6 / 99.4
LSUN (unseen)	(unseen)	46.3 / 100.0	61.8 / 100.0	78.2 / 100.0	71.1 / 100.0	90.8 / 99.4
Gaussian (unseen)	(unseen)	56.1 / 100.0	72.0 / 100.0	83.4 / 100.0	77.2 / 100.0	92.8 / 99.4

• 信頼度損失は、分布内外の対をまたぐ複数の組み合わせで、分類精度を損なうことなく、OOD検出指標（例：TNR at 95% TPR、AUROC、AUPR）を大幅に改善する。
• KL項を最適化する際、現実的なOODデータ（例：LSUN、TinyImageNet）の方が、合成ノイズより検出器の改善に効果的である。
• 提案されたGANは低密度の境界サンプルを生成する傾向があり、標準的なGANよりも分布内外を識別する分類器を効果的に導く。
• 共同訓練（分類器 + GAN）は、クロスエントロピーのみの訓練を上回り、明示的なOODデータに対する別個のKL項の訓練を上回ることが多い。
• 導かれた勾配可視化は、信頼度訓練されたモデルが近境界ケースでより有益な入力領域に焦点を合わせ、それが検出の改善と一致することを示唆する。
• 本法は CIFAR-10 および SVHN の実験で TNR および AUROC に顕著な改善をもたらし、 unseen のアウト・オブ・ディストリビューションデータセットにも競争力を保つ。