[논문 리뷰] Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|2020. 12. 09.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 이론적 및 실험적으로 ReLU 기반 신경망 분류기와 일반적인 불확실성 추정 방법이 안정적인 이상치 탐지(out-of-distribution, OOD)에 실패함을 보여준다. 저자들은 예측 엔트로피와 같은 불확실성 지표가 ReLU 네트워크의 조각별 애프린(affine) 성질과 포화하는 활성화 함수로 인해 OOD 데이터에서 고정된, 과도하게 확신하는 수준으로 수렴함을 증명하며, 이는 안전 기반 응용 분야에서 진정한 OOD 인식이 필요한 곳에서는 효과적이지 않음을 시사한다.

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper gives a theoretical explanation for said experimental findings and illustrates it on synthetic data. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, since their level of confidence is generalized to unseen areas of the feature space. This result stems from the interplay between the representation of ReLU networks as piece-wise affine transformations, the saturating nature of activation functions like softmax, and the most widely-used uncertainty metrics.

연구 동기 및 목표

• ReLU 기반 분류기에서의 불확실성 추정이 왜 안정적인 이상치 탐지(OOD)를 실패하는지 설명하는 것.
• 특히 ReLU 네트워크의 구조와 활성화 함수와 관련하여 OOD 영역에서 과도하게 일반화된 확신의 근본 원인을 규명하는 것.
• 예측 엔트로피와 분산과 같은 널리 사용되는 불확실성 지표가 온건한 가정 하에 OOD 데이터에서 고정된 확신 수준으로 수렴함을 보여주는 것.
• 이러한 실패가 표준 모델뿐 아니라 앙상블/변분 추론 방법까지도 포함되어 안전 기반 설정에서의 신뢰성을 해친다는 것을 보여주는 것.

제안 방법

• 이론적 분석은 ReLU 네트워크를 조각별 애프린 변환으로 모델링하여, 훈련 데이터에서 멀리 떨어진 영역에서 불확실성 지표가 일정해짐을 보여준다.
• 논문은 예측 엔트로피의 기울기의 점점 수렴하는 경계를 유도하며, 이는 OOD 영역에서 입력 변화에 민감하지 않음을 증명한다.
• 반달 모양의 인위적 데이터를 사용해 불확실성 표면과 기울기 크기를 시각화하여, 훈련 분포를 초월한 영역에서 일정한 확신이 나타나는 것을 설명한다.
• 예측 엔트로피, 분산, 상호정보량 등의 지표를 사용해 표준 신경망, 몬테카를로 드롭아웃, 앙상블 방법 등 여러 모델을 훈련하고 평가하여 불확실성 행동을 분석한다.
• ReLU 활성화 특성, 소프트맥스 포화, 불확실성 추정 간의 상호작용을 집중적으로 분석하며, 근본적인 아키텍처 한계를 드러낸다.
• 실험적 검증은 기울기 노름 분석을 통해 OOD 영역에서 불확실성이 입력 변화에 민감하지 않음을 보여주며, 이는 이론적 예측을 확인한다.

실험 결과

연구 질문

• RQ1 왜 표준 불확실성 추정을 사용하는 ReLU 기반 분류기가 이상치 탐지에 실패하는가?
• RQ2 ReLU 네트워크의 어떤 이론적 성질이 불확실성 수준이 훈련 데이터 외부 영역으로 일반화되는가?
• RQ3 앙상블 및 변분 추론을 포함한 다양한 불확실성 정량화 방법에서도 불확실성 추정의 실패가 지속되는가?
• RQ4 훈련 데이터에서 멀리 떨어진 영역에서 불확실성 지표의 기울기는 어떻게 행동하는가? 이는 OOD 탐지에 어떤 함의를 갖는가?
• RQ5 과도한 일반화된 확신은 ReLU 네트워크의 조각별 애프린 성질과 소프트맥스의 포화 성질로 인해 추적될 수 있는가?

주요 결과

• 예측 엔트로피와 같은 불확실성 지표는 훈련 분포에서의 입력 거리와 관계없이 OOD 샘플에서 고정된 일정한 값으로 수렴한다.
• 입력에 대한 예측 엔트로피의 기울기는 OOD 영역에서 0에 수렴하며, 이는 소규모 입력 변형이 불확실성에 영향을 주지 않음을 의미한다. 이는 과도하게 일반화된 확신을 초래한다.
• 이러한 행동은 단일 모델에 국한되지 않고 몬테카를로 드롭아웃, 앙상블 방법, 변분 추론까지도 포함되어 있어 ReLU 기반 불확실성 추정의 체계적 결함임을 시사한다.
• 인위적 실험은 훈련 데이터를 초월한 영역에서 큰 면적의 일정한 확신 영역이 나타남을 확인하며, 이는 불확실성 히트맵에서 흰 영역으로 시각화된다.
• 온도 스케일링과 앙상블 방법을 적용해도 정적 확신 영역이 지속되며, OOD 영역에서는 엡스티믹 불확실성(epistemic uncertainty)이 낮게 유지되어 탐지 능력이 떨어진다.
• 이론적 분석은 온건한 가정 하에 불확실성 지표의 점점 수렴하는 행동이 OOD 영역에서 경계가 있고 변하지 않음을 증명하며, 이는 안정적인 탐지가 불가능함을 의미한다.