[논문 리뷰] Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification

Antoine de Mathelin, François Deheeger외 2명|arXiv (Cornell University)|2023. 04. 08.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 4

한 줄 요약

이 논문은 깊이 있는 앙상블의 분포 외(OOD) 불확실성 정량화를 향상시키기 위해 훈련 중에 작은 가중치를 처벌함으로써 훈련 도메인 외부에서 출력 분산을 증가시키는 Deep Anti-Regularized Ensembles(DARE)를 제안한다. 이와 동시에 동적 손실 제어를 통해 내부 분포 정확도를 유지한다. DARE는 OOD 데이터나 하이퍼파라미터 튜닝 없이도 최신 기술 수준의 OOD 탐지 성능을 달성한다.

ABSTRACT

We consider the problem of uncertainty quantification in high dimensional regression and classification for which deep ensemble have proven to be promising methods. Recent observations have shown that deep ensemble often return overconfident estimates outside the training domain, which is a major limitation because shifted distributions are often encountered in real-life scenarios. The principal challenge for this problem is to solve the trade-off between increasing the diversity of the ensemble outputs and making accurate in-distribution predictions. In this work, we show that an ensemble of networks with large weights fitting the training data are likely to meet these two objectives. We derive a simple and practical approach to produce such ensembles, based on an original anti-regularization term penalizing small weights and a control process of the weight increase which maintains the in-distribution loss under an acceptable threshold. The developed approach does not require any out-of-distribution training data neither any trade-off hyper-parameter calibration. We derive a theoretical framework for this approach and show that the proposed optimization can be seen as a "water-filling" problem. Several experiments in both regression and classification settings highlight that Deep Anti-Regularized Ensembles (DARE) significantly improve uncertainty quantification outside the training domain in comparison to recent deep ensembles and out-of-distribution detection methods. All the conducted experiments are reproducible and the source code is available at \url{https://github.com/antoinedemathelin/DARE}.

연구 동기 및 목표

• 깊이 있는 앙상블이 분포 외(OOD) 데이터에서 과도하게 자신감 있는 예측을 내는 데 기인한 핵심적 한계를 해결하기 위해.
• OOD 영역에서 앙상블 다양성을 높이되, 내부 분포 예측 정확도를 유지하는 데의 갈등을 해결하기 위해.
• OOD 훈련 데이터나 복잡한 하이퍼파라미터 캘리브레이션에 의존하지 않고도 불확실성 정량화를 향상시키는 방법을 개발하기 위해.
• 실제 딥 러닝 구현에서 신뢰할 수 있는 불확실성 추정을 위한 이론적으로 탄탄하고 실용적인 접근법을 제공하기 위해.

제안 방법

• 훈련 중에 작은 가중치를 처벌하는 반정규화 항을 도입하여 큰 가중치를 가진 네트워크를 촉진한다.
• 훈련 손실이 임계값을 초과할 경우에만 가중치 증가를 활성화하는 동적 제어 과정을 적용하여 내부 분포 정확도를 유지한다.
• 최적화를 '물 채우기' 문제로 간주하여, 가중치 크기와 일반화 사이의 균형을 이론적으로 기술한다.
• 조각별 선형 활성화를 갖는 완전 연결 네트워크에 이 방법을 적용하고, 마지막 레이어를 DARE 헤드로 교체함으로써 잔차 네트워크로 확장한다.
• 평균 제곱 오차 손실과 소프트맥스 대신 로짓 기반 불확실성 점수를 사용하여 가중치 스케일링이 불확실성에 미치는 영향을 유지한다.
• 추가적인 OOD 데이터나 검증 기반 하이퍼파라미터 튜닝이 필요 없는 간단하고 확장 가능한 훈련 프rotocol를 사용한다.

실험 결과

연구 질문

• RQ1 작은 가중치에 대한 반정규화가 깊이 있는 앙상블의 분포 외(OOD) 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 내부 분포 성능이 떨어지지 않도록 훈련 도메인 외부에서 앙상블 다양성을 어떻게 높일 수 있는가?
• RQ3 동적 가중치 제어 메커니즘이 손실을 유지하면서도 큰 가중치와 높은 출력 분산을 촉진할 수 있는가?
• RQ4 제안된 방법이 OOD 데이터나 하이퍼파라미터 튜닝 없이도 기존의 딥 앙상블 및 OOD 탐지 기법을 능가할 수 있는가?

주요 결과

• DARE는 OOD 불확실성 정량화를 크게 향상시켜 카메라 시프트 실험에서 표준 딥 앙상블 대비 분포 외 NLL을 2.4 점 감소시켰다.
• 기상 시프트 실험에서 DARE는 최고의 ECE 점수를 기록하여 OOD 데이터에 대해 뛰어난 校정 성능을 보였다.
• CIFAR10에서 Fashion-MNIST를 OOD로 간주할 경우, DARE는 기준 딥 앙상블 대비 AUROC를 34점 향상시켰고, 내부 분포 정확도는 단지 2점 하락했다.
• Fashion-MNIST에서 SVHN을 OOD로 간주할 경우, DARE는 기준 대비 AUROC에서 8점 향상되었으며, 강력한 내부 분포 성능도 유지했다.
• DARE 최적화된 완전 연결 헤드로 마지막 레이어를 교체함으로써 ResNet32 기반 아키텍처에 적용해도 효과가 유지됨을 실험으로 입증했다.
• 실험 결과 λ=0(반정규화 없음)일 경우 가중치 증가가 거의 없고, λ=1일 경우 손실 폭발이 발생함을 확인하여 동적 제어 메커니즘의 必要성을 입증했다.