[논문 리뷰] Reducing Network Agnostophobia

Akshay Raj Dhamija, Manuel Günther외 1명|arXiv (Cornell University)|2018. 11. 09.

Adversarial Robustness in Machine Learning인용 수 82

한 줄 요약

이 논문은 Entropic Open-Set 및 Objectosphere 손실을 도입하여 미지의 샘플에 대해 높은 엔트로피를 만들고 특징 크기로 알려진 샘플과 미지의 샘플을 구분하여 열린 세트 인식을 개선하고, OSCR 기반 평가 및 공개 코드.

ABSTRACT

Agnostophobia, the fear of the unknown, can be experienced by deep learning engineers while applying their networks to real-world applications. Unfortunately, network behavior is not well defined for inputs far from a networks training set. In an uncontrolled environment, networks face many instances that are not of interest to them and have to be rejected in order to avoid a false positive. This problem has previously been tackled by researchers by either a) thresholding softmax, which by construction cannot return "none of the known classes", or b) using an additional background or garbage class. In this paper, we show that both of these approaches help, but are generally insufficient when previously unseen classes are encountered. We also introduce a new evaluation metric that focuses on comparing the performance of multiple approaches in scenarios where such unseen classes or unknowns are encountered. Our major contributions are simple yet effective Entropic Open-Set and Objectosphere losses that train networks using negative samples from some classes. These novel losses are designed to maximize entropy for unknown inputs while increasing separation in deep feature space by modifying magnitudes of known and unknown samples. Experiments on networks trained to classify classes from MNIST and CIFAR-10 show that our novel loss functions are significantly better at dealing with unknown inputs from datasets such as Devanagari, NotMNIST, CIFAR-100, and SVHN.

연구 동기 및 목표

• 실제 세계 배포에서의 알 수 없는 입력(agnostophobia) 문제를 동기 부여한다.
• 배경 클래스를 전적으로 의존하지 않고 unseen 클래스에 대한 강인성을 개선하는 손실 함수 개발.
• 열려 있는(open-set) 시나리오에 맞춘 평가 지표(OSCR) 제안.
• MNIST/CIFAR 데이터셋에서 softmax 임계값과 배경 클래스 기준보다 개선을 입증한다.

제안 방법

• 배경 샘플의 softmax 엔트로피를 최대화하도록 Entropic Open-Set 손실 정의.
• 추가로 unknown의 깊은 특징 크기를 최소화하면서 known은 큰 크기를 유지하는 방식으로 Objectosphere 손실로 확장.
• Entropic Open-Set 손실이 unknown 표현이 0 크기로 수렴하고 동일한 클래스 로짓이 되는 경우에 최소화됨을 이론적으로 증명.
• Objectosphere가 알려진 샘플과 미지 샘플 간의 특징 크기 마진을 강제함을 보여준다.
• OSCR 곡선을 사용해 거부와 인식 성능을 비교하는 평가를 한다.

실험 결과

연구 질문

• RQ1 특징 표현을 형성하는 손실이 Softmax 임계값이나 배경 클래스 접근법을 능가할 수 있는가?
• RQ2 Entropic Open-Set 및 Objectosphere 손실이 미지에 대해 더 높은 엔트로피와 알려진/미지 간의 더 큰 크기 차이를 가져오는가?
• RQ3 데이터셋 간에 공정하게 비교하는 principled한 평가 지표(OSCR)가 존재하는가?

주요 결과

실험 / 아키텍처	Unknowns D_a | 데이터셋	알고리즘	CCR at FPR 1e-4	CCR at FPR 1e-3	CCR at FPR 1e-2	CCR at FPR 1e-1
LeNet++ with MNIST-CIFAR setup	Devanagri (MNIST c. background)	Softmax	0.0	0.0	0.0777	0.9007
LeNet++ with MNIST-CIFAR setup	Devanagri	Background	0.0	0.4402	0.7527	0.9313
LeNet++ with MNIST-CIFAR setup	NotMNIST	Entropic Open-Set	0.7142	0.8746	0.9580	0.9788
LeNet++ with MNIST-CIFAR setup	NotMNIST	Objectosphere	0.7350	0.9108	0.9658	0.9791
NotMNIST experiment (MNIST baseline)	NotMNIST	Softmax	0.0	0.3397	0.4954	0.8288
NotMNIST experiment (MNIST baseline)	NotMNIST	Background	0.3806	0.7179	0.9068	0.9624
NotMNIST experiment (MNIST baseline)	NotMNIST	Entropic Open-Set	0.4201	0.8578	0.9515	0.9780
NotMNIST experiment (MNIST baseline)	NotMNIST	Objectosphere	0.5120	0.8965	0.9563	0.9773
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Softmax	0.1924	0.2949	0.4599	0.6473
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Background	0.2012	0.3022	0.4803	0.6981
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Entropic Open-Set	0.1071	0.2338	0.4277	0.6214
ResNet-18 CIFAR-10 setup	SVHN (Unknowns)	Objectosphere	0.1862	0.3387	0.5074	0.6886
CIFAR-100 subset experiment	CIFAR-100 Subset 4500	Scaled Objectosphere	N/A	N/A	N/A	N/A

• Entropic Open-Set 손실은 미지/배경 샘플의 엔트로피를 증가시키고 미지 입력 처리 성능을 개선한다.
• Objectosphere 손실은Softmax 엔트로피를 더 증가시키고 알려진 샘플과 미지 샘플 간의 크기 차이를 더 크게 한다.
• 두 손실 모두 MNIST/ CIFAR-10 파생 태스크에서 softmax 임계값과 배경 클래스 기반을 능가하며, 미지는 Devanagari, NotMNIST, CIFAR-100, SVHN에서 얻은다.
• OSCR 곡선은 알려진-미지 거부 및 올바른 알려진 클래스 분류에 초점을 맞춘 임계값 기반 평가를 제공한다.
• 실험은 Entropic Open-Set 및 Objectosphere가 고정된 FPR에서 CCR이 더 높음을 여러 데이터셋에서 보여준다.
• 제공된 접근법의 코드는 공개적으로 이용 가능하다.