[논문 리뷰] Uncertainty Quantification and Deep Ensembles

Rahul Rahaman, Alexandre H. Thiéry|arXiv (Cornell University)|2020. 07. 17.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 31

한 줄 요약

이 논문은 딥 앙상블이 mixup 및 보정(calibration)과 저데이터 설정에서 어떻게 상호 작용하는지 분석하고, 앙상블링은 보정을 해칠 수 있음을 보여주며 Pool-Then-Calibrate 접근 방식과 온도 스케일링을 통해 보정을 대폭 개선하는 방법을 제안한다.

ABSTRACT

Deep Learning methods are known to suffer from calibration issues: they typically produce over-confident estimates. These problems are exacerbated in the low data regime. Although the calibration of probabilistic models is well studied, calibrating extremely over-parametrized models in the low-data regime presents unique challenges. We show that deep-ensembles do not necessarily lead to improved calibration properties. In fact, we show that standard ensembling methods, when used in conjunction with modern techniques such as mixup regularization, can lead to less calibrated models. This text examines the interplay between three of the most simple and commonly used approaches to leverage deep learning when data is scarce: data-augmentation, ensembling, and post-processing calibration methods. Although standard ensembling techniques certainly help boost accuracy, we demonstrate that the calibration of deep ensembles relies on subtle trade-offs. We also find that calibration methods such as temperature scaling need to be slightly tweaked when used with deep-ensembles and, crucially, need to be executed after the averaging process. Our simulations indicate that this simple strategy can halve the Expected Calibration Error (ECE) on a range of benchmark classification problems compared to standard deep-ensembles in the low data regime.

연구 동기 및 목표

• 제한된 데이터로 학습된 과매개변수화된 딥 모델에서 불확실성 보정 문제를 동기부여하고 정량화한다.
• 데이터 증강(mixup)과 앙상블 평균화가 보정에 어떻게 상호작용하는지 검토한다.
• 후처리 보정 방법과 보정 성능에 대한 집계 순서의 영향을 평가한다.

제안 방법

• 데이터 희소성 및 mixup 증강하에서 딥 앙상블의 보정 특성을 분석한다.
• 선형 풀링, 중앙값/절단된 풀링 및 온도 스케일링을 후처리 단계로 비교한다.
• Pool-Then-Calibrate 제안: 모델을 학습한 뒤, 집계 후 검증 데이터에서 단일 온도 매개변수를 적합시킨다.
• 여러 데이터셋과 아키텍처에 걸쳐 서로 다른 풀링 및 보정 순서(A-D)를 평가한다.
• 보정 매개변수를 최적화하기 위해 적절한 점수 규칙(예: 교차 엔트로피)을 사용한다.

실험 결과

연구 질문

• RQ1 저데이터 구간에서 딥 앙상블이 보정에 어떤 영향을 미치며, 특히 mixup 증강과 함께였을 때는 어떠한가?
• RQ2 후처리 보정(온도 스케일링)이 앙상블 평균화와 상호작용하여 보정 성능을 개선하거나 악화시키는가?
• RQ3 풀링/보정 순서(Pool-Then-Calibrate 대 Calibrate-Then-Pool)가 데이터셋 전반에서 가장 우수한 보정 성능을 낳는가?
• RQ4 간단한 Pool-Then-Calibrate 전략이 ECE를 상당히 감소시키면서 정확도 및 NLL/Brier 이득을 유지할 수 있는가?

주요 결과

• 앙상블링의 예측은 종종 확신도를 낮추며, 개별 모델이 과신하는 경우 보정에 도움을 줄 수 있지만 본질적으로 보정을 향상시키지는 않는다.
• Mixup 증강은 네트워크를 과소신뢰하게 만드는 경향이 있으며, 이러한 네트워크의 앙상블은 적절히 보정되지 않으면 보정을 악화시킬 수 있다.
• 온도 스케일링은 앙상블 평균화의 결과로 인한 과소신뢰를 줄이기 위해 예측의 풀링(평균화) 후에 적용되어야 한다.
• Pool-Then-Calibrate(집계 먼저, 단일 온도로 보정)하면 저데이터 설정에서 여러 벤치마크 과제의 ECE를 절반으로 줄일 수 있다.
• 풀링하기 전에 개별 모델을 보정하는 것은 순서의 효과 및 상호작용으로 인해 먼저 풀링한 다음 보정하는 것보다 덜 효과적이다.
• 여러 데이터셋에 걸쳐 평균/중앙값/절단된 풀링과 같은 풀링 전략의 이득이 다양하며, 보통 Pool-Then-Calibrate가 단순 평균보다 우수하다.