[논문 리뷰] On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation

Nicolas Brosse, Carlos Riquelme외 3명|arXiv (Cornell University)|2020. 01. 22.

Anomaly Detection Techniques and Applications참고 문헌 73인용 수 17

한 줄 요약

이 논문은 사전에 훈련된 백본에서 추출한 특징에 대해 간단한 선형 모델의 앙상블을 사용하여 딥 네ural 네트워크에서 표현 학습과 불확실성 추정을 분리하는 마지막 레이어 알고리즘의 가족을 제안한다. 실험 결과, 특히 ImageNet에서 선택적 분류와 분포 외 탐지에서 표준 SGD 기반 모델보다 유의미하게 뛰어난 성능을 보이며, 계산 비용은 최소한으로 유지되고 깊은 불확실성 모델링의 이점은 제한적이다.

ABSTRACT

Uncertainty quantification for deep learning is a challenging open problem. Bayesian statistics offer a mathematically grounded framework to reason about uncertainties; however, approximate posteriors for modern neural networks still require prohibitive computational costs. We propose a family of algorithms which split the classification task into two stages: representation learning and uncertainty estimation. We compare four specific instances, where uncertainty estimation is performed via either an ensemble of Stochastic Gradient Descent or Stochastic Gradient Langevin Dynamics snapshots, an ensemble of bootstrapped logistic regressions, or via a number of Monte Carlo Dropout passes. We evaluate their performance in terms of \emph{selective} classification (risk-coverage), and their ability to detect out-of-distribution samples. Our experiments suggest there is limited value in adding multiple uncertainty layers to deep classifiers, and we observe that these simple methods strongly outperform a vanilla point-estimate SGD in some complex benchmarks like ImageNet.

연구 동기 및 목표

• 표준 모델이 종종 자신감을 잘못 표현하는 딥 러닝에서의 불확실성 정량화 문제를 해결하기 위해.
• 현대 딥 네트워크에서 불확실성 추정의 계산 비용을 성능 저하 없이 줄이기 위해.
• 마지막 레이어를 초과하는 불확실성 레이어를 추가하는 것이 의미 있는 성능 향상을 가져오는지 조사하기 위해.
• 사전 훈련된 특징 추출 후에 불확실성 추정을 위한 단순하고 효율적인 방법을 평가하기 위해.
• 딥 러닝에서 전체 베이지안 또는 복잡한 불확실성 방법의 실용적이고 확장 가능한 대안을 제공하기 위해.

제안 방법

• 이 방법은 깊은 신경망을 엔드 투 엔드로 훈련하여 특징을 추출한 후 이 특징을 고정하고 마지막 선형 분류기만 훈련함으로써 표현 학습과 불확실성 추정을 분리한다.
• 불확실성은 SGD 스냅샷, SGLD, 부트스트랩, 몬테카를로 드롭아웃의 네 가지 기법을 사용해 고정된 특징에 대해 훈련된 모델의 앙상블을 통해 추정한다.
• 입력마다 앙상블 내 예측의 분포를 출력함으로써 분산이나 엔트로피를 통해 불확실성 추정이 가능하다.
• 이 방법은 마지막 레이어 모델이 작고 빠르게 훈련될 수 있음을 활용하여 낮은 비용으로 명시적인 불확실성 정량화를 가능하게 한다.
• 선택적 분류(위험-커버리지 트레이드오��� Authorities)와 AUROC 및 AUPR 지표를 사용한 분포 외 탐지에서 방법을 평가한다.
• 프레임워크는 Keras와 Tensorflow로 구현되었으며, 코드는 공개되어 있다.

실험 결과

연구 질문

• RQ1 표현 학습과 불확실성 추정을 분리하는 것이 더 나은 불확실성 정량화를 이끌어내는가?
• RQ2 실제로 다양한 마지막 레이어 불확실성 추정 방법(SGD, SGLD, 부트스트랩, MC 드롭아웃) 간의 성능 비교는 어떻게 되는가?
• RQ3 마지막 분류 레이어를 초과하는 불확실성 레이어 추가에 실질적인 이점이 있는가?
• RQ4 단순한 마지막 레이어 앙상블이 ImageNet과 같은 실제 벤치마크에서 표준 포인트 추정 SGD 모델을 능가할 수 있는가?
• RQ5 기존 모델 대비 이러한 방법은 분포 외 샘플을 얼마나 잘 탐지하는가?

주요 결과

• 마지지 레이어 앙상블 방법은 ImageNet에서 선택적 분류에서 표준 SGD 기반 모델보다 유의미하게 뛰어나며, 더 낮은 위험에서 더 높은 커버리지를 달성한다.
• CIFAR-100에서 SGLD 기반 마지막 레이어 방법은 분포 외 탐지에 대해 AUROC 0.794를 기록하여 기준 SGD 방법(0.789)을 능가했다.
• MNIST에서는 MC-Dropout 기반 마지막 레이어 방법이 AUPR 0.935를 기록하여 기준 SGD(0.905)를 초월했으며, 강력한 OOD 탐지 능력을 보였다.
• 부트스트랩과 MC-Dropout 방법은 CIFAR-100에서 AUPR out에 가장 높은 향상을 보였으며, 기준 대비 각각 1.052의 증가를 기록했다.
• 결과적으로 여러 불확실성 레이어를 추가하는 데서는 제한된 가치가 있으며, 마지막 레이어 방법만으로도 훨씬 낮은 계산 비용으로 강력한 성능을 달성할 수 있다.
• 이 방법은 추가적인 추론 비용을 최소화하면서도 뛰어난 성능을 달성하여, 안전이 중요한 애플리케이션에 실질적인 실현 가능성을 제공한다.