[논문 리뷰] Balanced Knowledge Distillation for Long-tailed Learning

Shaoyu Zhang, Chen Chen외 2명|arXiv (Cornell University)|2021. 04. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 10

한 줄 요약

이 논문은 장수분포 학습에서 표현 학습과 꼬리 클래스 최적화를 분리하기 위해 인스턴스-균형화된 교차 엔트로피 손실과 클래스-균형화된 디스티illation 손실을 조합한 새로운 디스티illation 프레임워크인 밸런스드 지식 디스티illation(BKD)을 제안한다. BKD는 ImageNet-LT, Places-LT, iNaturalist 2018에서 기존 SOTA 방법들과 교육자 모델을 모두 능가하는 최고 성능을 기록하며, 소수의 샘플을 가진 클래스에서 최대 4.7% 향상된 성능을 달성한다.

ABSTRACT

Deep models trained on long-tailed datasets exhibit unsatisfactory performance on tail classes. Existing methods usually modify the classification loss to increase the learning focus on tail classes, which unexpectedly sacrifice the performance on head classes. In fact, this scheme leads to a contradiction between the two goals of long-tailed learning, i.e., learning generalizable representations and facilitating learning for tail classes. In this work, we explore knowledge distillation in long-tailed scenarios and propose a novel distillation framework, named Balanced Knowledge Distillation (BKD), to disentangle the contradiction between the two goals and achieve both simultaneously. Specifically, given a vanilla teacher model, we train the student model by minimizing the combination of an instance-balanced classification loss and a class-balanced distillation loss. The former benefits from the sample diversity and learns generalizable representation, while the latter considers the class priors and facilitates learning mainly for tail classes. The student model trained with BKD obtains significant performance gain even compared with its teacher model. We conduct extensive experiments on several long-tailed benchmark datasets and demonstrate that the proposed BKD is an effective knowledge distillation framework in long-tailed scenarios, as well as a new state-of-the-art method for long-tailed learning. Code is available at https://github.com/EricZsy/BalancedKnowledgeDistillation .

연구 동기 및 목표

• 장수분포 학습에서 일반화 가능한 표현 학습과 꼬리 클래스 성능 향상 사이의 본질적 모순을 해결하기 위해.
• 꼬리 클래스에 과도하게 집중함으로써 표현 학습을 해칠 수 있는 리워팅 전략의 한계를 극복하기 위해.
• 불균형 데이터에서 표현 학습과 꼬리 클래스 지원을 분리하기 위한 지식 디스티illation의 가능성을 탐색하기 위해.
• 일반화 능력과 꼬리 클래스 성능을 동시에 향상시키는 디스티illation 프레임워크를 개발하기 위해.

제안 방법

• 불균형 데이터에서 표준 교차 엔트로피 손실을 사용해 일반적인 교육자 모델을 훈련한다.
• 학생 모델을 인스턴스-균형화된 교차 엔트로피 손실(일반화 가능한 표현 학습을 위해)과 클래스-균형화된 디스티illation 손실(꼬리 클래스에 집중하기 위해)을 조합한 손실 함수를 사용해 훈련한다.
• 부드러운 라벨의 안정성과 지식 전이의 향상을 위해 디스티illation에서 온도 파rameter T=2를 사용한다.
• 학생 모델 훈련을 두 가지 별개의 목적, 즉 표현 학습(인스턴스-균형화된 CE를 통한)과 클래스 인식 지식 전이(클래스-균형화된 KD를 통한)로 분리한다.
• CIFAR-10/100, ImageNet-LT, Places-LT, iNaturalist 2018를 포함한 장수분포 데이터셋에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 장수분포 학습에서 분류 손실을 리워팅하면 머리 클래스와 꼬리 클래스 성능 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ2 지식 디스티illation이 장수분포 데이터에 효과적으로 적용되어 표현 학습과 꼬리 클래스 성능 향상을 동시에 향상시킬 수 있는가?
• RQ3 표현 학습과 클래스 인식 지식 전이를 분리함으로써 공동 최적화보다 더 높은 성능을 달성할 수 있는가?
• RQ4 장수분포 상황에서 디스티illation에 가장 적합한 온도 설정은 무엇인가?

주요 결과

• ρ=100일 때, BKD는 장수분포 CIFAR-10에서 교육자 모델 대비 10%p의 정확도 향상을 달성한다.
• iNaturalist 2018에서 BKD는 전체적으로 가장 높은 top-1 정확도를 기록하며, Many-, Medium-, Few-shot 서브셋 간의 성능 격차를 줄였다.
• Places-LT에서 BKD는 기존 SOTA 방법 대비 Few-shot 서브셋에서 4.7% 이상 높은 정확도를 달성한다.
• ImageNet-LT에서 BKD는 다수의 교육자 모델이나 복잡한 스케줄링을 사용하지 않아도 LFME를 크게 능가한다.
• BKD와 cRT(분류기 재훈련)의 조합은 ImageNet-LT에서 성능을 추가로 향상시켜 상호보완적인 이점을 보여준다.
• 모든 장수분포 CIFAR 데이터셋에서 디스티illation에 가장 적합한 온도는 T=2로 확인되었다.