[論文レビュー] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee+2 more|arXiv (Cornell University)|Nov 26, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用数 115

ひとこと要約

要約: 本論文は、信頼度損失と境界志向のGANを追加することで、分類器の信頼度を校准し、in-distributionとout-of-distributionデータを区別する訓練フレームワークを提案し、しきい値ベースのOOD検出器の性能を向上させつつ、in-distributionの精度を損なわない。

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

研究の動機と目的

• 深層ネットの過信を是正することで、堅牢なOOD検出を動機づける。
• OODサンプルに対する信頼度を低下させつつ、in-distributionの性能を維持する新しい訓練損失を提案する。
• 分類器を訓練するための効果的な境界近傍OODサンプルを生成するGANを開発する。
• 自信を持つ分類器と敵対的生成器が相互に向上する共同訓練を可能にする。

提案手法

• 標準的なクロスエントロピーとKLダイバージェンス項を組み合わせた信頼度損失を定義し、out-of-distributionに対するP(y|x)を一様分布へと押し戻す。
• 生成器Gと識別器Dを含むGANを導入し、その目的は低密度の境界サンプルを生成しつつin-distributionと整合させ、挑戦的なOODサンプルを作成する（式(2)と(3)）
• 論文のAlgorithm 1にあるように、分類器 θとGAN（G, D）を交互に更新して（c）+(d)を最小化し、（e）を最大化する共同訓練目的を提供する。
• 検出器の分離を最大化するため、in-distribution境界近傍から抽出されたout-of-distributionサンプル上でKL項を最適化できるようにする。
• 一般的なCNNバックボーン（例：AlexNet、VGGNet）を使用し、標準的な視覚データセット（CIFAR、SVHN、ImageNet、LSUN）で訓練できることを示す。
• 本手法はベイジアンアンサンブルとは直交しており、組み合わせることでより良い結果を得られる可能性があると主張する。

実験結果

リサーチクエスチョン

• RQ1 信頼度校正済みの訓練目的は、しきい値ベースの検出器を超えてin-distributionとout-of-distributionの出力の分離性を改善できるか。
• RQ2 境界に焦点を当てた敵対的生成器と分類器の共同訓練は、in-distributionの精度を損なうことなく、より良いOOD検出をもたらすか。
• RQ3 現実的な（境界近い）OODサンプルは、遠いものや合成的なものよりもキャリブレーションに効果的か。
• RQ4 提案手法は、複数のデータセットとネットワークアーキテクチャ（例：VGGNet、AlexNet）に渡ってOOD検出で実質的な改善を達成できるか。

主な発見

• 信頼度損失は、いくつかのin-distribution/out-of-distributionペアでOOD検出指標を向上させる（例：SVHNをin-distributionとした場合、信頼度損失で訓練すると強い向上が見られる）。
• 提案されたGANと組み合わせた共同信頼度損失を用いると、明示的なOODデータだけを用いる場合より検出性能が向上し、特にCIFAR-10をin-distributionとした場合に顕著。
• SVHNをin-distributionとする場合、本手法は分類精度を損なうことなく検出指標を大幅に向上させる（例：TNR、AUROC、AUPR、検出精度の改善）。
• 境界焦点のGANはin-distribution境界付近のOODサンプルを生成し、標準的な（ランダムやガウシアン）OODデータを用いるよりも検出器性能を改善する。
• 視覚化（ガイド付き勾配マップ）は、信頼度損失を適用した後、学習したモデルがOOD検出のためにより関連する画像領域に注意を向けることを示唆している。