[논문 리뷰] Confidence Calibration for Convolutional Neural Networks Using Structured Dropout

Zhilu Zhang, Adrian V. Dalca외 1명|arXiv (Cornell University)|2019. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 41

한 줄 요약

본 논문은 MC 드롭아웃을 앙상블로 간주하고, 구조화된 드롭아웃(dropBlock, dropChannel, dropLayer)이 표준 MC 드롭아웃 및 심층 앙상블 대비 모델 다양성과 신뢰도 보정(calibration)을 향상시키며 경쟁력 있는 정확도를 보임을 보여준다.

ABSTRACT

In classification applications, we often want probabilistic predictions to reflect confidence or uncertainty. Dropout, a commonly used training technique, has recently been linked to Bayesian inference, yielding an efficient way to quantify uncertainty in neural network models. However, as previously demonstrated, confidence estimates computed with a naive implementation of dropout can be poorly calibrated, particularly when using convolutional networks. In this paper, through the lens of ensemble learning, we associate calibration error with the correlation between the models sampled with dropout. Motivated by this, we explore the use of structured dropout to promote model diversity and improve confidence calibration. We use the SVHN, CIFAR-10 and CIFAR-100 datasets to empirically compare model diversity and confidence errors obtained using various dropout techniques. We also show the merit of structured dropout in a Bayesian active learning application.

연구 동기 및 목표

• CNN에서 불확실성을 반영하는 확률적 예측을 촉진하고 MC 드롭아웃으로 인한 보정 실패를 해결한다.
• 드롭아웃을 앙상블 샘플링으로 프레이밍하고 보정 오차를 모델 다양성과 연결한다.
• 다양성을 촉진하고 보정을 향상시키기 위해 구조화된 드롭아웃을 제안한다.
• SVHN, CIFAR-10, CIFAR-100에서 구조화된 드롭아웃 변형을 실험적으로 비교한다.
• 베이지안 활성학습에서 실용적 이점을 보여준다.

제안 방법

• MC 드롭아웃을 드롭아웃 모델들의 앙상블로 보고 불확실성(ambiguity)과 평균제곱오차(MSE) 분해를 통해 보정을 앙상블 다양성과 연결한다.
• 구조화된 드롭아웃 변형을 도입한다: dropBlock(패치 수준), dropChannel(채널 수준), dropLayer(레이어 수준).
• 이 드롭아웃들로 학습하고 테스트 시 MC 샘플(T=30)을 사용해 불확실성 지표(ECE, NLL, Brier)와 정확도를 평가한다.
• PreAct-ResNet 변형을 사용하여 SVHN, CIFAR-10, CIFAR-100에서 일반 드롭아웃 및 깊은 앙상블과 비교한다.
• Interrater Agreement(IA)로 앙상블 다양성을 평가하고 신뢰도 다이어그램을 통해 보정을 연구한다.
• 구조화된 드롭아웃을 베이지안 활성 학습에 적용하여 데이터 수집 의사결정이 개선됨을 보인다.

실험 결과

연구 질문

• RQ1 구조화된 드롭아웃이 표준 드롭아웃에 비해 CNN 앙상블의 모델 다양성을 증가시킬 수 있는가?
• RQ2 구조화된 드롭아웃으로 인한 다양성 증가가 정확도를 희생하지 않으면서 신뢰도 보정(ECE, NLL, Brier)을 향상시키는가?
• RQ3 구조화된 드롭아웃 변형이 보정 및 불확실성 지표에서 심층 앙상블에 비해 어떤 성능을 보이는가?
• RQ4 활성 학습 시나리오에서 구조화된 드롭아웃의 실용적 이점이 있는가?

주요 결과

• MC dropChannel과 MC dropLayer가 데이터셋 전반에서 최고의 신뢰도 보정을 달성하며, 종종 ECE에서 심층 앙상블보다 우수하다.
• 구조화된 드롭아웃은 일반 드롭아웃보다 앙상블 예측이 더 다양해지며, IA가 더 낮고 신뢰도 다이어그램이 더 선명하게 나타난다.
• SVHN, CIFAR-10, CIFAR-100에서 구조화된 드롭아웃은 일반 드롭아웃에 비해 보통 NLL과 ECE를 감소시키고 정확도는 비슷하거나 더 나은 편이다.
• MC dropLayer는 드롭아웃 비율 선택에 강인성을 보이며, 특히 더 어려운 데이터셋에서 표준 드롭아웃보다 보정 친화적일 수 있다.
• 베이지안 활성 학습에서 구조화된 드롭아웃은 MC 드롭아웃에 비해 유효 표본 확보 전략 전반에서 라벨링 데이터로부터의 정확도 향상을 개선한다.