[논문 리뷰] Selective Classification for Deep Neural Networks

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|2017. 05. 23.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 173

한 줄 요약

이 논문은 훈련된 신경 분류기 f를 거부 함수 g로 랩핑하여 목표 위험을 높은 확률로 보장하고, DNN에 대한 높은 커버리지의 선택적 분류를 실현하는 방법을 제시합니다. SR 및 MC-dropout 신뢰도 방법을 통해 CIFAR-10/100 및 ImageNet에서 위험 관리가 강하게 입증됩니다.

ABSTRACT

Selective classification techniques (also known as reject option) have not yet been considered in the context of deep neural networks (DNNs). These techniques can potentially significantly improve DNNs prediction performance by trading-off coverage. In this paper we propose a method to construct a selective classifier given a trained neural network. Our method allows a user to set a desired risk level. At test time, the classifier rejects instances as needed, to grant the desired risk (with high probability). Empirical results over CIFAR and ImageNet convincingly demonstrate the viability of our method, which opens up possibilities to operate DNNs in mission-critical applications. For example, using our method an unprecedented 2% error in top-5 ImageNet classification can be guaranteed with probability 99.9%, and almost 60% test coverage.

연구 동기 및 목표

• 임무-critical 작업에서 신뢰성을 개선하기 위해 딥 뉴럴 네트워크의 선택적 분류(거부 옵션)를 모티브로 삼는다.
• 주어진 훈련된 f와 신뢰도-비율 함수가 주어졌을 때 보장된 위험 제어를 갖는 선택적 분류기를 구성하는 실용적 방법(SGR)을 제안한다.
• 표준 데이터셋(CIFAR-10/100, ImageNet)에서 SR 및 MC-dropout 신뢰도-비율 함수를 평가하여 위험-커버리지 트레이드오프를 정량화한다.
• 다양한 아키텍처(VGG-16, ResNet-50)에서도 거의 목표 위험에 근접한 커버리지를 달성할 수 있음을 보여준다.

제안 방법

• f를 기본 분류기로, g를 거부 함수를 두는 선택적 분류기(f,g)를 정의한다.
• 샘플을 kappa_f(x) >= theta로 받아들이도록 신뢰도-비율 함수 kappa_f에 기반한 g_theta를 도입한다.
• 목표 위험 r*를 높은 확률로 충족시키는 theta를 이진 탐색하는 Selective Guaranteed Risk(SGR) 알고리즘을 제안한다. 이때 경계 b*를 사용해 신뢰도 보장을 제공한다.
• Gascuel & Caraux의 수치 경계 B*(hat{r}, delta, S_m)를 사용해 R(f|P) <= B*(...)를 보장한다.
• 두 가지 신뢰도-비율 함수: Softmax Response(SR) = max_j f(x|j)와 MC-dropout 기반 불확실성에서 불확실성을 뺀 신뢰도 비율을 고려한다.
• 훈련된 네트워크(VGG-16, ResNet-50)를 CIFAR-10/100 및 ImageNet에서 적용하여 위험-커버리지 곡선과 보장된 위험 경계를 얻는다.

실험 결과

연구 질문

• RQ1 고정된 신경 예측기 f에 대해 보장된 위험을 갖는 선택적 분류기가 구성될 수 있는가?
• RQ2 SR 및 MC-dropout 신뢰도-비율 함수가 SGR과 함께 표준 데이터셋에서 위험-커버리지 측면에서 어떤 성능을 보이는가?
• RQ3 CIFAR-10, CIFAR-100, 그리고 ImageNet에서 주어진 위험을 보장하면서 달성할 수 있는 커버리지 수준은 어느 정도인가?
• RQ4 이 방법이 서로 다른 아키텍처(VGG-16, ResNet-50) 및 작업(ImageNet의 top-1/top-5)으로 확장되는가?

주요 결과

DESIRED RISK r*	TRAIN RISK	TRAIN COVERAGE	TEST RISK	TEST COVERAGE	RISK BOUND b*
0.01	0.0079	0.7822	0.0092	0.7856	0.0099
0.02	0.0160	0.8482	0.0149	0.8466	0.0199
0.03	0.0260	0.8988	0.0261	0.8966	0.0298
0.04	0.0362	0.9348	0.0380	0.9318	0.0399
0.05	0.0454	0.9610	0.0486	0.9596	0.0491
0.06	0.0526	0.9778	0.0572	0.9784	0.0600

• SR 및 MC-dropout은 CIFAR-10/100에서 거의 동일한 위험-커버리지 곡선을 제공하는 반면, ImageNet의 top-1 및 top-5에서 SR이 MC-dropout보다 우수하다.
• SGR은 목표 r*보다 낮은 테스트 위험을 높은 확률로 달성하고, r*에 근접한 빽본(b*)를 제공한다.
• Delta=0.001에서 CIFAR-10에 대해 이 방법은 1% 오류를 78%가 넘는 테스트 커버리지로 보장한다.
• Delta=0.001에서 CIFAR-100은 r* 값 전반에 걸쳐 관측 가능한 위험을 제어하면서 상당한 커버리지를 달성하며, 이전 결과를 능가한다.
• ImageNet에서 VGG-16 및 ResNet-50을 사용한 SGR은 top-1 및 top-5에서 제어된 위험과 함께 상당한 커버리지를 달성하며, 종종 60%를 넘는다.