[논문 리뷰] Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition

Mobarakol Islam, Lalithkumar Seenivasan외 2명|arXiv (Cornell University)|2021. 09. 11.

Advanced Neural Network Applications참고 문헌 30인용 수 9

한 줄 요약

이 논문은 장수시각인식에서 모델 캘리브레이션을 향상시키기 위해 클래스 분포 인지 온도 스케일링(CDA-TS)과 레이블 스무딩(CDA-LS)을 제안한다. 클래스 빈도에 맞게 캘리브레이션 파라미터를 조정함으로써 CDA-TS와 CDA-LS는 높은 빈도 클래스에서의 과신뢰를 감소시켜, 표준 TS와 LS에 비해 CIFAR-100-LT, Places-LT, ImageNet-LT 데이터셋에서 더 낮은 캘리브레이션 오차와 높은 정확도를 달성한다.

ABSTRACT

Despite impressive accuracy, deep neural networks are often miscalibrated and tend to overly confident predictions. Recent techniques like temperature scaling (TS) and label smoothing (LS) show effectiveness in obtaining a well-calibrated model by smoothing logits and hard labels with scalar factors, respectively. However, the use of uniform TS or LS factor may not be optimal for calibrating models trained on a long-tailed dataset where the model produces overly confident probabilities for high-frequency classes. In this study, we propose class-distribution-aware TS (CDA-TS) and LS (CDA-LS) by incorporating class frequency information in model calibration in the context of long-tailed distribution. In CDA-TS, the scalar temperature value is replaced with the CDA temperature vector encoded with class frequency to compensate for the over-confidence. Similarly, CDA-LS uses a vector smoothing factor and flattens the hard labels according to their corresponding class distribution. We also integrate CDA optimal temperature vector with distillation loss, which reduces miscalibration in self-distillation (SD). We empirically show that class-distribution-aware TS and LS can accommodate the imbalanced data distribution yielding superior performance in both calibration error and predictive accuracy. We also observe that SD with an extremely imbalanced dataset is less effective in terms of calibration performance. Code is available in https://github.com/mobarakol/Class-Distribution-Aware-TS-LS.

연구 동기 및 목표

• 모델이 높은 빈도 클래스에서 과신뢰가 되는 장수 데이터셋에서의 모델 캘리브레이션 문제를 해결하기 위해.
• 불균형 데이터 환경에서 균일한 온도 스케일링(TS)과 레이블 스무딩(LS)의 한계를 극복하기 위해.
• 클래스 빈도를 캘리브레이션 파라미터에 통합하는 클래스 분포 인지 캘리브레이션 기법을 개발하기 위해.
• 자기-디스틸리케이션 동안 캘리브레이션과 정확도를 향상시키기 위해 CDA-TS를 지식 디스틸리케이션에 통합하기 위해.
• 최신 캘리브레이션 메트릭을 사용하여 다수의 장수 벤치마크에서 제안된 방법을 검증하기 위해.

제안 방법

• CDA-TS는 스칼라 온도를 클래스별 온도 벡터로 대체하여 높은 빈도 클래스에서의 과신뢰를 감소시킨다. 이 온도 벡터는 클래스 빈도에서 유도된다.
• CDA-LS는 스칼라 대신 클래스별 스무딩 인자 벡터를 사용하여 클래스 분포에 따라 하드 레이블을 평탄화한다.
• CDA-TS 벡터는 검증 세트에서 선형 탐색을 통해 캘리브레이션 오차를 최소화하도록 최적화된다.
• CDA-TS는 자기-디스틸리케이션 동안 캘리브레이션과 정확도를 향상시키기 위해 지식 디스틸리케이션 손실에 통합된다.
• 학습 중에는 수정된 로짓(CDA-TS) 또는 소프트 레이블(CDA-LS)을 사용한 표준 크로스 엔트로피 손실이 사용된다.
• 성능 평가에는 신뢰도 다이어그램과 캘리브레이션 오차 메트릭(ECE, SCE, TACE, UCE, BS)이 사용된다.

실험 결과

연구 질문

• RQ1 클래스 분포 인지 온도 스케일링(CDA-TS)은 장수 데이터셋에서 학습된 모델의 캘리브레이션 오차를 감소시킬 수 있는가?
• RQ2 클래스 분포 인지 레이블 스무딩(CDA-LS)은 표준 레이블 스무딩에 비해 캘리브레이션과 정확도를 향상시킬 수 있는가?
• RQ3 CDA-TS는 극도로 불균형한 데이터에 적용되었을 때 자기-디스틸리케이션에서 어떻게 성능을 발휘하는가?
• RQ4 CDA-TS와 CDA-LS를 함께 사용하면 장수 인식에서 예측 정확도와 캘리브레이션 오차를 동시에 향상시킬 수 있는가?
• RQ5 캘리브레이션 파라미터에 클래스 빈도를 사용하면 더 나은 신뢰도 다이어그램과 낮은 불확실성 캘리브레이션 오차를 달성할 수 있는가?

주요 결과

• CIFAR-100-LT(불균형 비율 100)에서 CDA-TS는 기준 모델 대비 기대 캘리브레이션 오차(ECE)를 57% 감소시켰다.
• CIFAR-100-LT(불균형 비율 10)에서 CDA-TS는 58.67% 정확도와 0.1694 ECE를 달성하여 기준 모델(57.60% 정확도, 0.1801 ECE)을 능가했다.
• CIFAR-100-LT(불균형 비율 100)에서 CDA-LS는 ECE를 기준 모델의 0.328에서 0.038로 감소시켜 뚜렷한 향상을 보였다.
• CDA-TS를 적용한 자기-디스틸리케이션은 58.67% 정확도와 0.1694 ECE를 기록하여 고정된 T를 사용한 표준 디스틸리케이션(57.64% 정확도, 0.1974 ECE)을 능가했다.
• CIFAR-100-LT, Places-LT, ImageNet-LT의 세 데이터셋 전반에서 CDA-TS는 캘리브레이션을 유지하거나 향상시켰다.
• CDA-TS는 낮은 불확실성 캘리브레이션 오차(UCE)를 기록했고, 신뢰도 다이어그램에서도 더 나은 성능을 보였으며, 신뢰도 곡선이 항등선에 더 가까웠다.