[논문 리뷰] Distance-based Confidence Score for Neural Network Classifiers

Amit Mandelbaum, Daphna Weinshall|arXiv (Cornell University)|2017. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 79

한 줄 요약

본 논문은 신경망 임베딩으로부터 계산된 거리 기반 신뢰도 점수를 도입하여 예측 신뢰도를 정량화하고, 분류, 앙상블, 신뢰도 탐지 전반에 걸쳐 전통적인 점수보다 우수한 성능을 보이며, 두 가지 임베딩 전략: 거리 기반 손실과 Adversarial Training을 제시한다.

ABSTRACT

The reliable measurement of confidence in classifiers' predictions is very important for many applications and is, therefore, an important part of classifier design. Yet, although deep learning has received tremendous attention in recent years, not much progress has been made in quantifying the prediction confidence of neural network classifiers. Bayesian models offer a mathematically grounded framework to reason about model uncertainty, but usually come with prohibitive computational costs. In this paper we propose a simple, scalable method to achieve a reliable confidence score, based on the data embedding derived from the penultimate layer of the network. We investigate two ways to achieve desirable embeddings, by using either a distance-based loss or Adversarial Training. We then test the benefits of our method when used for classification error prediction, weighting an ensemble of classifiers, and novelty detection. In all tasks we show significant improvement over traditional, commonly used confidence scores.

연구 동기 및 목표

• 신뢰할 수 있는 신경 분류기의 예측 신뢰도를 자극하고 기존의 대리 점수의 한계를 해결한다.
• 네트워크 임베딩으로부터 도출된 거리 기반 신뢰도 점수를 제안한다.
• 임베딩 중심 학습(거리 기반 손실 또는 Adversarial Training)이 신뢰도 품질을 향상시키는 방법을 보여준다.
• 오류 예측, 앙상블, 신뢰도 탐지를 위한 여러 데이터세트에서 점수를 평가한다.
• 엔트로피 기반 및 MC-Dropout 기반 신뢰도 측정과의 성능을 비교한다.

제안 방법

• 학습된 분류기로부터 임베딩 f(x)를 정의한다.
• 훈련 세트에 대해 임베딩 공간에서 최근접 이웃을 이용한 정규화된 밀도 기반 점수로 D(x)를 계산한다.
• 옵션 1: 임베딩 구조를 유리하게 만들도록 거리 기반 손실 L_dist를 추가로 학습에 도입한다( Eq. 2 ).
• 옵션 2: 밀도 추정에 유리한 임베딩을 유도하기 위해 Adversarial Training을 사용한다( Eq. 3 ).
• 최근접 이웃 근사 및 메모리 고려를 포함한 계산적 측면과 스케일링에 대해 논의한다.
• Distance 네트워크를 활용하여 일반 또는 Adversarial 네트워크와 함께 동작하는 하이브리드 아키텍처 및 앙상블 가중화를 탐구한다.

실험 결과

연구 질문

• RQ1 제안된 거리 기반 신뢰도 점수가 전통적인 점수(마진, 엔트로피) 및 최근 방법(MC-Dropout, Adversarial Training 단독)과 비교하여 다양한 데이터세트에서 예측의 신뢰성을 향상시키는가?
• RQ2 점수가 앙상블 성능을 향상시키고 신뢰도 탐지에 효과적인가?
• RQ3 거리 기반 학습과 Adversarial Training이 임베딩 품질 및 하류 신뢰도 성능에 어떤 영향을 미치는가?

주요 결과

• 거리 기반 신뢰도 점수는 CIFAR-100, STL-10, SVHN에서 정확한 분류에 대한 AUC를 마진, 엔트로피 및 MC-Dropout 베이스라인보다 향상시킨다.
• 거리 점수로 가중된 앙상블은 점수 없이 구성된 앙상블보다 우수하며, 심지어 Adversarial Training이 사용될 때도 그렇다.
• 거리 점수와 함께 Adversarial Training은 강력한 결과를 낳고 거리 기반 손실만 사용할 때보다 하이퍼파라미터 튜닝이 덜 필요하다.
• Distance 네트워크를 사용해 다른 분류기에 정보를 제공하는 하이브리드 접근 방식이 CIFAR-100과 SVHN에서 최상위 성능을 달성한다.
• 본 방법은 표준 신뢰도 측정보다 신뢰도 탐지 성능을 개선하며, Adversarial Training이 베이스라인 신뢰도에서 가장 좋은 성능을 보이고, 거리 점수로 추가 이득이 얻어진다.