[논문 리뷰] Class-Balanced Distillation for Long-Tailed Visual Recognition

Ahmet İşcen, André de Melo Araújo외 2명|arXiv (Cornell University)|2021. 04. 12.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 클래스 수의 불균형을 보완하기 위해 인스턴스 샘플링으로 훈련된 태도 모델에서 학생 모델로 지식을 전달하는 두 단계 프레임워크인 클래스 밸런스 디스틸레이션(Class-Balanced Distillation, CBD)을 제안한다. 학생 모델은 클래스 밸런스 샘플링을 사용해 다시 훈련되며, 이는 긴 꼬리 분포를 가진 시각적 인식 성능을 향상시킨다. CBD는 기존 방법들을 크게 능가하며, ImageNet-LT, iNaturalist17, iNaturalist18에서 최신 기준 성능(SOTA)을 달성한다. 특히 ResNet-152를 사용할 경우 이전 최고 성능 대비 최대 5.5% 향상된 성능을 기록한다.

ABSTRACT

Real-world imagery is often characterized by a significant imbalance of the number of images per class, leading to long-tailed distributions. An effective and simple approach to long-tailed visual recognition is to learn feature representations and a classifier separately, with instance and class-balanced sampling, respectively. In this work, we introduce a new framework, by making the key observation that a feature representation learned with instance sampling is far from optimal in a long-tailed setting. Our main contribution is a new training method, referred to as Class-Balanced Distillation (CBD), that leverages knowledge distillation to enhance feature representations. CBD allows the feature representation to evolve in the second training stage, guided by the teacher learned in the first stage. The second stage uses class-balanced sampling, in order to focus on under-represented classes. This framework can naturally accommodate the usage of multiple teachers, unlocking the information from an ensemble of models to enhance recognition capabilities. Our experiments show that the proposed technique consistently outperforms the state of the art on long-tailed recognition benchmarks such as ImageNet-LT, iNaturalist17 and iNaturalist18.

연구 동기 및 목표

• 실제 시각 데이터셋에서 희귀 클래스(꼬리 클래스)가 부족하게 분포되어 있어 잘 학습되지 않는 문제를 해결하기 위해.
• 인스턴스 샘플링을 통해 학습된 특징 표현이 긴 꼬리 분포 설정에서 최적화되지 않는 한계를 극복하기 위해.
• 특징 학습과 분류기 훈련을 분리함으로써 꼬리 클래스 성능을 향상시키면서도 헤드 클래스 정확도를 떨어뜨리지 않기 위해.
• 다양한 태도 모델을 활용해 상호 보완적인 지식을 통합하고 학생 모델의 일반화 능력을 향상시키기 위해.
• 기존의 두 단계 및 단일 단계 접근 방식을 능가하는 융통성 있고 효과적이며 확장 가능한 훈련 프레임워크를 개발하기 위해.

제안 방법

• 첫 번째 단계에서 인스턴스 샘플링을 사용해 하나 이상의 태도 모델을 훈련시켜 모든 클래스에 걸쳐 강건한 특징 학습을 보장한다.
• 두 번째 단계에서 클래스 밸런스 샘플링을 사용해 학생 모델을 다시 훈련시켜 희귀 꼬리 클래스에 더 주목한다.
• 지식 디스틸레이션을 적용해 태도 모델의 소프트 레이블과 중간 특징 표현을 학생 모델로 전달한다.
• 교차 엔트로피 분류 손실과 특징 디스틸레이션 손실을 조합한 복합 손실을 사용해 학생 모델의 훈련을 이끈다.
• 여러 개의 독립된 태도 모델을 훈련하고 훈련 중에 그 지식을 평균화함으로써 앙상블 디스틸레이션(CBD_E)을 지원한다.
• 테스트 시에는 단일 학생 모델만 사용하므로 추론 효율성을 유지한다. 다만 훈련 시에는 다수의 태도 모델을 사용한다.

실험 결과

연구 질문

• RQ1 긴 꼬리 설정에서 인스턴스 샘플링으로 학습된 지식 디스틸레이션은 특징 표현을 향상시킬 수 있는가?
• RQ2 다른 샘플링 전략을 사용해 특징 학습과 분류기 훈련을 분리하면 꼬리 클래스 성능 향상에 기여하는가?
• RQ3 여러 태도 모델이 함께 작용해 학생 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ4 다양한 데이터셋과 아키텍처에서 CBD는 최신 기준 성능 방법들과 비교해 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 CBD는 꼬리 클래스 정확도를 크게 향상시키면서도 헤드 클래스 성능을 유지하거나 향상시키는가?

주요 결과

• ResNet-50를 사용할 경우 CBD는 ImageNet-LT에서 51.6%의 상위-1 정확도를 기록하며, 이는 이전 최고 기록보다 3.6% 높은 성능이다.
• 4개의 태도 모델을 사용한 CBD_E는 ResNet-50를 사용해 ImageNet-LT에서 55.6%의 정확도를 기록하며, 이는 이전 최고 기록(ResNet-152 사용) 대비 5.5% 향상된 성능이다.
• iNaturalist18에서 CBD_E는 ResNet-101을 사용해 75.3%의 정확도를 기록하며, 이는 이전 최고 기록 대비 4.5% 상대적 향상이다.
• CBD_E는 이전 최고 방법 대비 iNaturalist18에서 3.8% 향상되었고, iNaturalist17에서는 3.5% 향상되었다.
• 모든 클래스 그룹에서 높은 성능를 유지하며, 특히 꼬리 클래스에서의 성능 향상이 두드러지지만 헤드 클래스 정확도는 그대로 유지된다.
• CBD에 로짓 조정 손실을 추가로 적용하면 성능이 더욱 향상되어, CBD_E를 사용한 ImageNet-LT에서 56.1%의 정확도를 기록한다.