[논문 리뷰] Know Your Limits: Monotonicity & Softmax Make Neural Classifiers Overconfident on OOD Data.

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|2020. 12. 09.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 특성 표현의 단조성과 소프트맥스 출력 확률의 사용이, 표준 불확실성 추정 기법을 사용하더라도, 분류기 모델이 분포 외(OOD) 데이터에 대해 과신하는 경향을 유발함을 보여준다. 이론적 분석은 이러한 모델이 약한 단조성 가정 하에서 OOD 샘플을 신뢰성 있게 탐지할 수 없음을 증명하며, 이는 소프트맥스와 활성화 함수의 포화 행동 때문이 다.

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper puts forward a theoretical explanation for said experimental findings. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, provided the models satisfy weak assumptions about the monotonicity of feature values and resulting class probabilities. This result stems from the interplay between the saturating nature of activation functions like sigmoid or softmax, coupled with the most widely-used uncertainty metrics.

연구 동기 및 목표

• 딥 신경망 분류기에서 불확실성 추정 기법이 OOD 샘플을 탐지하지 못하는 이유를 조사하는 것.
• OOD 입력이 주어졌을 때 신경망 분류기가 과신하게 되는 근본 원인을 규명하는 것.
• 특성 표현의 단조성과 소프트맥스 출력의 포화가 OOD 탐지에 악영향을 미치는 역할를 체계적으로 분석하는 것.
• 약한 단조성 가정 하에, 불확실성 추정을 통한 OOD 탐지가 본질적으로 제한됨을 이론적으로 증명하는 것.

제안 방법

• 특성 값과 그에 대응하는 클래스 확률에 대한 약한 단조성 가정 하에서 이론적 분석을 수행한다.
• 논문은 ReLU 또는 시그모이드 활성화 함수를 사용하는 표준 딥 신경망과 소프트맥스 출력 레이어를 모델링한다.
• 소프트맥스와 시그모이드 함수의 포화 성향이 OOD 입력에 대한 신뢰도 점수에 어떻게 왜곡을 초래하는지 분석한다.
• 이러한 가정 하에서 널리 사용되는 불확실성 지표, 예를 들어 소프트맥스 엔트로피와 최대 확률을 중심으로 분석한다.
• 단조성과 포화 현상으로 인해 OOD 샘플이 체계적으로 높은 신뢰도 예측으로 오해당함을 보여주는 공식적 증명을 제시한다.

실험 결과

연구 질문

• RQ1 왜 표준 불확실성 추정 기법이 신경망 분류기에서 OOD 샘플을 탐지하지 못하는가?
• RQ2 특성 표현의 단조성이 OOD 데이터에 대한 모델의 신뢰도에 어떻게 영향을 미치는가?
• RQ3 소프트맥스의 포화 행동이 OOD 입력에 대해 과신적인 예측을 생성하는 데 어떤 역할을 하는가?
• RQ4 어떤 조건에서 표준 불확실성 지표를 사용한 OOD 탐지는 본질적으로 불가능한가?

주요 결과

• 특성 표현이 단조적이며 소프트맥스 출력을 사용하는 신경망 분류기는, 불확실성 추정을 적용하더라도 OOD 데이터에 대해 본질적으로 과신하게 된다.
• 소프트맥스와 활성화 함수의 포화 성향으로 인해 OOD 샘플이 높은 신뢰도 점수를 부여받으며, 이는 내부 분포 예측과 유사하게 보인다.
• 약한 단조성 가정 하에서, 불확실성 추정 기법은 모델 아키텍처의 구조적 한계로 인해 OOD 입력을 신뢰성 있게 탐지할 수 없다.
• 이론적 분석을 통해 이러한 모델이 표준 불확실성 지표를 사용하여 OOD 입력과 내부 분포 입력을 본질적으로 구분할 수 없다는 것이 증명된다.