[論文レビュー] Reducing Network Agnostophobia

Akshay Raj Dhamija, Manuel Günther+1 more|arXiv (Cornell University)|Nov 9, 2018

Adversarial Robustness in Machine Learning被引用数 82

ひとこと要約

この論文は Entropic Open-Set および Objectosphere 損失を導入し、未知を高エントロピー化してオープンセット認識を改善し、特徴量の大きさで既知と未知を分離し、OSCR に基づく評価と公開コードを用いる。

ABSTRACT

Agnostophobia, the fear of the unknown, can be experienced by deep learning engineers while applying their networks to real-world applications. Unfortunately, network behavior is not well defined for inputs far from a networks training set. In an uncontrolled environment, networks face many instances that are not of interest to them and have to be rejected in order to avoid a false positive. This problem has previously been tackled by researchers by either a) thresholding softmax, which by construction cannot return "none of the known classes", or b) using an additional background or garbage class. In this paper, we show that both of these approaches help, but are generally insufficient when previously unseen classes are encountered. We also introduce a new evaluation metric that focuses on comparing the performance of multiple approaches in scenarios where such unseen classes or unknowns are encountered. Our major contributions are simple yet effective Entropic Open-Set and Objectosphere losses that train networks using negative samples from some classes. These novel losses are designed to maximize entropy for unknown inputs while increasing separation in deep feature space by modifying magnitudes of known and unknown samples. Experiments on networks trained to classify classes from MNIST and CIFAR-10 show that our novel loss functions are significantly better at dealing with unknown inputs from datasets such as Devanagari, NotMNIST, CIFAR-100, and SVHN.

研究の動機と目的

• 実世界のディープネットのデプロイにおける未知入力（agnostophobia）の問題を動機づける。
• 背景クラスだけに依存せず、 unseen クラスに対する頑健性を改善する損失関数を開発する。
• オープンセット状況に特化した評価指標（OSCR）を提案する。
• MNIST/CIFARデータセットでsoftmax閾値と背景クラスベースラインより改善を示す。

提案手法

• 背景サンプルのsoftmaxエントロピーを最大化する Entropic Open-Set 損失を定義する。
• 未知の深部特徴量の大きさを小さくすることで Objectosphere 損失へ拡張し、既知は大きな大きさを保つ。
• Entropic Open-Set 損失が未知表現がゼロ大きさに収束し、クラスロジットが等しくなるときに最小化されることを理論的に証明する。
• Objectosphere が既知と未知サンプルの特徴量大きさのマージンを強制することを示す。
• Open-Set Classification Rate (OSCR) 曲線を用いて拒否と認識性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス閾値付けと背景クラスのアプローチは、特徴表現を形作る損失によって上回られるか。
• RQ2 Entropic Open-Set および Objectosphere 損失は未知に対してより高いエントロピーと既知対未知の大きさ分離を生むか。
• RQ3 OSCR のような Dataset 間で公正にオープンセット手法を比較する principled な評価指標は存在するか。

主な発見

実験 / アーキテクチャ	Unknowns D_a | Dataset	アルゴリズム	FPR 1e-4 における CCR	FPR 1e-3 における CCR	FPR 1e-2 における CCR	FPR 1e-1 における CCR
LeNet++ with MNIST-CIFAR setup	Devanagri (MNIST c. background)	Softmax	0.0	0.0	0.0777	0.9007
LeNet++ with MNIST-CIFAR setup	Devanagri	Background	0.0	0.4402	0.7527	0.9313
LeNet++ with MNIST-CIFAR setup	NotMNIST	Entropic Open-Set	0.7142	0.8746	0.9580	0.9788
LeNet++ with MNIST-CIFAR setup	NotMNIST	Objectosphere	0.7350	0.9108	0.9658	0.9791
NotMNIST experiment (MNIST baseline)	NotMNIST	Softmax	0.0	0.3397	0.4954	0.8288
NotMNIST experiment (MNIST baseline)	NotMNIST	Background	0.3806	0.7179	0.9068	0.9624
NotMNIST experiment (MNIST baseline)	NotMNIST	Entropic Open-Set	0.4201	0.8578	0.9515	0.9780
NotMNIST experiment (MNIST baseline)	NotMNIST	Objectosphere	0.5120	0.8965	0.9563	0.9773
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Softmax	0.1924	0.2949	0.4599	0.6473
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Background	0.2012	0.3022	0.4803	0.6981
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Entropic Open-Set	0.1071	0.2338	0.4277	0.6214
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Objectosphere	0.1862	0.3387	0.5074	0.6886
CIFAR-100 subset experiment	CIFAR-100 Subset 4500	Scaled Objectosphere	N/A	N/A	N/A	N/A

• Entropic Open-Set 損失は未知/背景サンプルのエントロピーを増大させ、未知入力の取り扱いを改善する。
• Objectosphere 損失はさらにソフトマックスエントロピーを増加させ、既知と未知サンプルの大きさの分離を強化する。
• 両方の損失は MNIST/ CIFAR-10 派生タスクでソフトマックス閾値付けと背景クラスベースラインより優れており、未知は Devanagari, NotMNIST, CIFAR-100, SVHN から。
• OSCR曲線は既知 vs 未知の拒否と正しい既知クラス分類に焦点を当てた閾値ベースの評価を提供する。
• 実験は Entropic Open-Set および Objectosphere が基準より高い CCR を示す、固定 FPR で複数データセットで。
• このアプローチを実装したコードは公開されている。