[논문 리뷰] Improving Calibration for Long-Tailed Recognition

Zhisheng Zhong, Jiequan Cui외 2명|arXiv (Cornell University)|2021. 04. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 9

한 줄 요약

이 논문은 장기적 분포 인식에서 캘리브레이션과 성능을 햖थ기 위해, 클래스별 과신뢰를 완화하기 위한 레이블 인식 스무딩과 두 단계 분리 프레임워크에서의 데이터셋 편향을 해결하기 위한 이격 배치 정규화를 도입한 MiSLAS 방법을 제안한다. 다양한 벤치마크에서 최신 기준 성능(SOTA)을 달성하며 기대 캘리브레이션 오차(ECE)가 크게 감소하였다.

ABSTRACT

Deep neural networks may perform poorly when training datasets are heavily class-imbalanced. Recently, two-stage methods decouple representation learning and classifier learning to improve performance. But there is still the vital issue of miscalibration. To address it, we design two methods to improve calibration and performance in such scenarios. Motivated by the fact that predicted probability distributions of classes are highly related to the numbers of class instances, we propose label-aware smoothing to deal with different degrees of over-confidence for classes and improve classifier learning. For dataset bias between these two stages due to different samplers, we further propose shifted batch normalization in the decoupling framework. Our proposed methods set new records on multiple popular long-tailed recognition benchmark datasets, including CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and iNaturalist 2018. Code will be available at https://github.com/Jia-Research-Lab/MiSLAS.

연구 동기 및 목표

• 장기적 분포 데이터셋으로 훈련된 딥 네ural 네트워크에서의 모델 캘리브레이션 오류와 과신뢰 문제를 해결하기 위해.
• 장기적 분포 인식을 위한 두 단계 분리 프레임워크에서 다양한 샘플링 전략에 의해 유도되는 데이터셋 편향(도메인 시프트) 문제를 해결하기 위해.
• 클래스 불균형으로 인한 클래스별 신뢰 수준을 고려하여 분류기 학습과 캘리브레이션을 향상시키기 위해.
• 기본 장기적 분포 벤치마크에서 정확도와 캘리브레이션 양면에서 최신 기준 성능(SOTA)을 달성하기 위해.

제안 방법

• 클래스 빈도에 따라 동적으로 레이블 스무딩을 조정하는 레이블 인식 스무딩을 제안하여 尾클래스의 과신뢰를 감소시킨다.
• 스테이지-1(인스턴스 균형)과 스테이지-2(클래스 균형) 훈련 데이터 간의 분포 시프트를 완화하기 위해 이격 배치 정규화(시프트 학습)를 도입한다.
• 스테이지-1에서 믹업 증강을 적용하여 표현 학습을 향상시키지만, 분류기 학습에 악영향을 주지 않도록 한다.
• 믹업, 레이블 인식 스무딩, 시프트 학습을 통합하여 종단 간 최적화가 가능한 통합된 두 단계 분리 프레임워크(MiSLAS)를 구현한다.
• 모든 단계에서 모델의 캘리브레이션을 평가하고 최적화하기 위해 기대 캘리브레이션 오차(ECE)를 주요 지표로 사용한다.
• 백본은 스테이지-2에서 고정하고, 오직 분류기만 클래스 균형 샘플링을 통해 미세조정하는 분리된 훈련 파이프라인을 활용한다.

실험 결과

연구 질문

• RQ1 장기적 분포 데이터셋의 클래스 불균형이 두 단계 분리 프레임워크에서 모델의 캘리브레이션과 신뢰도 캘리브레이션에 어떤 영향을 미치는가?
• RQ2 클래스 빈도에 따라 스무딩 수준를 적응적으로 조정하는 레이블 인식 스무딩이 실제로 尾클래스의 과신뢰를 효과적으로 감소시킬 수 있는가?
• RQ3 스테이지-1과 스테이지-2 훈련 데이터 간의 데이터셋 편향이 두 단계 장기적 분포 인식에서 모델 성능을 얼마나 악화시키는가?
• RQ4 배치 정규화 레이어에 대한 시프트 학습이 도메인 시프트를 효과적으로 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ5 믹업, 레이블 인식 스무딩, 시프트 학습의 통합이 다양한 장기적 분포 벤치마크에서 정확도와 캘리브레이션 양면에서 일관된 향상을 이끌 수 있는가?

주요 결과

• 장기적 분포 데이터셋으로 훈련된 모델은 균형 잡힌 데이터셋으로 훈련된 모델에 비해 기대 캘리브레이션 오차(ECE)와 과신뢰도가 현저히 높게 나타난다.
• 제안된 MiSLAS 방법은 CIFAR-100-LT (IF=100)에서 52.7%의 top-1 정확도와 1.83%의 ECE를 기록하여 이전 SOTA 방법을 초월한다.
• ImageNet-LT에서 MiSLAS는 71.6%의 top-1 정확도와 7.67%의 ECE를 기록하며, cRT+mixup(70.2%/1.79%) 및 LWS+mixup(70.9%/9.41%)에 비해 개선된 캘리브레이션을 확보한 새로운 SOTA 성능을 달성한다.
• iNaturalist 2018에서 MiSLAS는 40.4%의 top-1 정확도와 3.59%의 ECE를 기록하여 이전 최고 성능 방법(LWS+mixup: 39.7%/11.7%)을 뛰어넘었다.
• Places-LT에서 MiSLAS는 63.2%의 top-1 정확도와 1.73%의 ECE를 기록하여 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 제거 실험 결과, 각 구성 요소인 레이블 인식 스무딩, 시프트 학습, 믹업이 모든 평가된 불균형 요인(IF=10, 50, 100)에서 정확도 향상과 ECE 감소에 기여하는 것으로 확인되었다.