[논문 리뷰] Long-tailed Recognition by Routing Diverse Distribution-Aware Experts

Xudong Wang, Long Lian외 3명|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 30

한 줄 요약

RIDE introduces a multi-expert model with a shared backbone and a dynamic routing module to reduce bias and variance in long-tailed recognition, achieving 5–7% gains on CIFAR100-LT, ImageNet-LT, and iNaturalist 2018.

ABSTRACT

Natural data are often long-tail distributed over semantic classes. Existing recognition methods tackle this imbalanced classification by placing more emphasis on the tail data, through class re-balancing/re-weighting or ensembling over different data groups, resulting in increased tail accuracies but reduced head accuracies. We take a dynamic view of the training data and provide a principled model bias and variance analysis as the training data fluctuates: Existing long-tail classifiers invariably increase the model variance and the head-tail model bias gap remains large, due to more and larger confusion with hard negatives for the tail. We propose a new long-tailed classifier called RoutIng Diverse Experts (RIDE). It reduces the model variance with multiple experts, reduces the model bias with a distribution-aware diversity loss, reduces the computational cost with a dynamic expert routing module. RIDE outperforms the state-of-the-art by 5% to 7% on CIFAR100-LT, ImageNet-LT and iNaturalist 2018 benchmarks. It is also a universal framework that is applicable to various backbone networks, long-tailed algorithms, and training mechanisms for consistent performance gains. Our code is available at: https://github.com/frank-xwang/RIDE-LongTailRecognition.

연구 동기 및 목표

• 장시간 불균형 인식에서 훈련 데이터 분포의 변화 하에서 편향-분산 분석을 통해 연구 동기를 제시한다.
• 장거리 꼬리 분류기에서 편향(특히 꼬리 편향)와 분산을 모두 감소시키기 위한 원칙적 모델을 제안한다.
• 공유 초기 특징, 다양한 후속 전문가 분지, 동적 라우터를 갖춘 RoutIng Diverse Experts (RIDE)를 개발한다.
• RIDE가 백본에 보편적이며 여러 장거리 꼬리 손실 함수 및 학습 스키마와 호환된다는 것을 보여준다.

제안 방법

• 공유 초기 계층과 n개의 축소 채널의 후반 분기로 구성된 다전문가 아키텍처를 모델링한다.
• 개별 전문가 분류 손실과 분포 인식 다양성 손실의 조합으로 전문가를 학습시켜 보완적 의사결정을 촉진한다.
• 필요할 때에만 추가 전문가를 동적으로 활성화하는 라우터를 도입하여 계산량을 제어한다.
• 추론 시 활성화된 전문의 로짓의 소프트맥스 평균화를 사용하여 최종 예측을 산출한다.
• 성능 향상을 위해 상위-전문가 모델로부터의 자기 증류를 선택적으로 적용한다.
• 클래스별 온도 기전으로 머리-꼬리 학습의 균형을 맞추기 위해 다양성 및 라우팅을 클래스별 빈도에 따라 조정한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 변동할 때 장거리 꼬리 인식에서 모델의 편향과 분산은 어떻게 분석될 수 있는가?
• RQ2 분포 인식 다양성 손실을 갖춘 다전문가 아키텍처가 계산 비용을 크게 증가시키지 않으면서 꼬리 편향과 전체 분산을 감소시킬 수 있는가?
• RQ3 다양한 백본에서 다수샷, 중간샷, 소샷 클래스에서 정확도를 유지하거나 향상시키는가?
• RQ4 RIDE가 서로 다른 아키텍처에서 기존의 Long-Tail 손실 및 학습 스키마를 개선할 수 있는 보편적 프레임워크인가?
• RQ5 CIFAR100-LT, ImageNet-LT, iNaturalist 2018에서 RIDE의 실험적 이득은 최첨단 방법과 비교해 어떤가?

주요 결과

• RIDE는 CE 및 기존 장-tail 방법과 비교하여 모든 클래스 분할에서 모델 분산을 감소시킨다.
• RIDE는 분포 인식 다양성 손실을 통해 꼬리 편향을 감소시키며 머리-꼬리 편향 격차를 축소한다.
• RIDE는 CIFAR100-LT, ImageNet-LT, iNaturalist 2018에서 SOTA보다 5–7% 높은 top-1 정확도를 달성한다.
• RIDE는 다양한 백본(ResNet, ResNeXt, Swin Transformer) 및 손실 함수(CE, LDAM, focal 등)과 호환된다.
• 다중 전문가를 필요 시에만 사용하도록 하는 동적 라우터로 계산 비용을 단일 전문가와 비슷한 수준으로 줄일 수 있다.
• 아블레이션에서 아키텍처, 개별 손실, 다양성 손실, 라우팅, 증류 각각이 성능에 기여하며 전체 구성에서 가장 큰 이득을 제공한다.