[논문 리뷰] Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers

Yonatan Geifman, Guy Uziel외 1명|arXiv (Cornell University)|2018. 05. 21.

Adversarial Robustness in Machine Learning인용 수 37

한 줄 요약

이 논문은 훈련 중 모델의 초기 스냅샷을 활용하여 신뢰도 점수의 편향을 줄이는 딥 네ural 네트워크 분류기의 새로운 불확실성 추정 방법을 제안한다. 각 인스턴스별 최적의 조기 정지 모델을 선택함으로써, Pointwise Early Stopping (PES) 및 그 효율적 근사인 AES는 여러 데이터셋과 베이스라인에서 일관되게 불확실성 순서를 향상시켜 불확실성 평가의 오차율을 크게 감소시킨다.

ABSTRACT

We consider the problem of uncertainty estimation in the context of (non-Bayesian) deep neural classification. In this context, all known methods are based on extracting uncertainty signals from a trained network optimized to solve the classification problem at hand. We demonstrate that such techniques tend to introduce biased estimates for instances whose predictions are supposed to be highly confident. We argue that this deficiency is an artifact of the dynamics of training with SGD-like optimizers, and it has some properties similar to overfitting. Based on this observation, we develop an uncertainty estimation algorithm that selectively estimates the uncertainty of highly confident points, using earlier snapshots of the trained model, before their estimates are jittered (and way before they are ready for actual classification). We present extensive experiments indicating that the proposed algorithm provides uncertainty estimates that are consistently better than all known methods.

연구 동기 및 목표

• 딥 네럴 네트워크의 불확실성 추정에서 특히 매우 확신하는 예측에 대해 발생하는 편향을 해결한다.
• SGD 동역학으로 인해 훈련이 진행됨에 따라 신뢰도 추정이 악화되며, 과적합과 유사한 경향을 띤다는 것을 밝힌다.
• 신뢰도 추정이 악화되기 이전의 초기 모델 스냅샷을 선택하여 신뢰할 수 있는 신뢰도 추정을 복원하는 방법을 개발한다.
• 베이지안 또는 추가 훈련 데이터가 필요하지 않은 기존 불확실성 추정 기법(예: 소프트맥스, MC-dropout, 앙상블)을 개선한다.
• 비용 효율적이고 확장 가능한 기존의 비용이 많이 드는 모델 선택 기법에 대한 대안을 제공하며, 최신 기술 수준의 성능을 유지한다.

제안 방법

• 각 테스트 인스턴스에 대해 검증 세트를 기반으로 가장 좋은 초기 스냅샷 모델을 선택하는 Pointwise Early Stopping (PES)를 제안한다.
• 보조 레이블이 부여된 데이터셋에서 훈련된 선택 메커니즘을 사용하여 각 테스트 샘플을 가장 신뢰할 수 있는 초기 모델에 매핑한다.
• PES의 확장 가능한 근사인 Approximate Early Stopping (AES)를 도입하며, 스냅샷 간의 학습된 함수를 사용해 별도의 모델 훈련 없이도 효율적으로 작동하도록 한다.
• 불확실성 추정 작업을 순서 기반의 불확실성 순위화로 설정하고, 플랫팅 스케일링을 별도로 적용하여 校정을 수행한다.
• 성능을 E-AURC(기대 평균 불확실성 순위 상관관계)로 정의하며, 이는 불확실성 순위 품질의 대체 지표로 사용된다.
• 교정된 확률에 플랫팅 스케일링을 적용하고, NLL 및 브리어 스코어를 사용하여 개선 사항의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 표준 딥 네럴 네트워크 분류기가 특히 매우 확신하는 예측에 대해 왜 편향된 불확실성 추정을 제공하는가?
• RQ2 훈련 중의 초기 모델 스냅샷이 최종 훈련된 모델보다 더 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ3 엄청난 계산 비용을 초래하지 않고 각 테스트 인스턴스에 대해 최적의 초기 모델을 효율적으로 선택할 수 있는가?
• RQ4 제안된 방법이 다양한 데이터셋과 기존 기반 기법에서 얼마나 향상시킬 수 있는가?
• RQ5 플랫팅 스케일링을 사용해 불확실성 추정을 校정했을 때도 개선 효과가 유지되는가?

주요 결과

• Pointwise Early Stopping (PES) 방법은 기준 소프트맥스 응답 대비 CIFAR-100에서 E-AURC를 18.24% 감소시켰으며, CIFAR-10에서는 6.04%, SVHN에서는 9.41%, ImageNet에서는 2.34% 향상되었다.
• Approximate Early Stopping (AES) 방법은 추가 훈련 데이터가 필요 없이 모든 기반 기법(앙성합 포함)에서 일관된 개선을 이뤘다.
• AES는 네 가지 데이터셋에서 모두 소프트맥스, 엔트로피, NN-distance, MC-dropout, 앙상블을 포함한 모든 평가된 방법보다 뛰어났으며, 통계적으로 유의미한 성과 향상을 보였다.
• E-AURC 지표는 교정된 성능과 강하게 상관관계가 있었으며, 음의 로그 가능성과 브리어 스코어를 통해 검증되었다. 이는 AES가 원시 및 교정된 불확실성 추정 모두를 향상시킨다는 것을 확인한다.
• PES의 계산 비용은 여러 스냅샷에 대한 반복적 순방향 전파로 인해 높아서, AES와 같은 효율적 근사 기법이 필요하다는 점이 부각되었다.
• 이 연구는 훈련 중 신뢰도 저하가 과적합과 유사한 체계적인 문제이며, 초기 스냅샷을 통해 이 편향을 효과적으로 완화할 수 있음을 입증한다.