[논문 리뷰] ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot

Jiarui Cai, Yizhou Wang외 1명|arXiv (Cornell University)|2021. 08. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 11

한 줄 요약

ACE는 장기적 희귀 이미지 인식을 위한 일단계, 종단간(end-to-end) 다중 전문가 프레임워크를 제안하며, 겹치는 불균형 서브셋에서 전문화된 전문가를 훈련시켜 상호 보완 지식 학습을 달성한다. 분포 적응형 최적화기와 상호 보완적 손실을 사용함으로써 전통적인 '갈림길' 트레이드오프를 깨고, CIFAR10-LT, CIFAR100-LT, ImageNet-LT 및 iNaturalist에서 SOTA 일단계 방법보다 3–10% 향상된 정확도를 同시로 달성한다.

ABSTRACT

One-stage long-tailed recognition methods improve the overall performance in a "seesaw" manner, i.e., either sacrifice the head's accuracy for better tail classification or elevate the head's accuracy even higher but ignore the tail. Existing algorithms bypass such trade-off by a multi-stage training process: pre-training on imbalanced set and fine-tuning on balanced set. Though achieving promising performance, not only are they sensitive to the generalizability of the pre-trained model, but also not easily integrated into other computer vision tasks like detection and segmentation, where pre-training of classifiers solely is not applicable. In this paper, we propose a one-stage long-tailed recognition scheme, ally complementary experts (ACE), where the expert is the most knowledgeable specialist in a sub-set that dominates its training, and is complementary to other experts in the less-seen categories without being disturbed by what it has never seen. We design a distribution-adaptive optimizer to adjust the learning pace of each expert to avoid over-fitting. Without special bells and whistles, the vanilla ACE outperforms the current one-stage SOTA method by 3-10% on CIFAR10-LT, CIFAR100-LT, ImageNet-LT and iNaturalist datasets. It is also shown to be the first one to break the "seesaw" trade-off by improving the accuracy of the majority and minority categories simultaneously in only one stage. Code and trained models are at https://github.com/jrcai/ACE.

연구 동기 및 목표

• 일단계 장기적 희귀 인식에서 오랫동안 지속된 '갈림길' 트레이드오프 문제를 해결하기 위해, 소수 클래스 정확도를 향상시키는 데에는 대부분의 클래스 성능이 악화되는 현상을 방지한다.
• 사전 훈련이 필요하고 검출 및 분할 작업에 통합하기 어려운 다단계 훈련 파이프라인에 의존하는 것을 제거한다.
• 전문가가 주로 다루는 서브셋에서 전문화되면서도 겹치는 덜 흔한 카테고리에서는 상호 보완적으로 작동하는, 일단계 종단간 프레임워크를 설계한다.
• 각 전문가의 훈련 세트 크기에 따라 학습률을 조정하는 분포 적응형 최적화기를 개발하여 과적합을 방지한다.
• 사전 훈련이나 단계적 훈련 없이도 장기적 벤치마크에서 최고 성능을 달성한다.

제안 방법

• ACE는 각 전문가가 장기적 희귀 데이터셋의 서로 다른 겹치는 서브셋에서 훈련되며, 전문화된 주요 클래스에서의 성능 향상을 가능하게 하는 다중 전문가 아키텍처를 사용한다.
• 전문가들은 공통의 백본을 공유하며, 공통 분류 영역에서의 공동 결정을 장려하는 상호 보완적 손실을 사용해 동시에 훈련된다.
• 분포 적응형 최적화기는 각 전문가의 훈련 세트 크기에 따라 학습률을 조정하며, 선형 또는 제곱근 스케줄링을 사용해 수렴 균형을 유지하고 과적합을 방지한다.
• 모든 전문가의 출력은 데이터 분할 별로 재스케일링하고 평균을 내어 최종 예측을 도출하며, 스케일링 과정이 머리 클래스 정확도를 유지한다.
• 사전 훈련 없이 종단간으로 끝까지 훈련되며, 검출 및 분할과 같은 다른 비전 작업에 즉각 통합 가능하다.
• Mixup를 통한 데이터 증강이 적용되며, 하이퍼파라미터 $\alpha$는 정확도에 큰 영향을 주지 않으면서도 강건성을 향상시키기 위해 조정된다.

실험 결과

연구 질문

• RQ1 일단계 인식 프레임워크는 장기적 희귀 데이터셋에서 머리 클래스와 꼬리 클래스 정확도를 동시에 향상시킬 수 있는가? 이는 '갈림길' 트레이드오프를 깰 수 있는가?
• RQ2 다중 전문가 모델은 어떻게 자신의 주요 서브셋에서 전문화되면서도 겹치는 덜 흔한 카테고리에서는 상호 보완적으로 작동하도록 설계할 수 있는가?
• RQ3 매우 불균형한 데이터 분포를 가진 전문가를 효과적으로 훈련시키고 과적합을 방지하기 위한 최적화 전략은 무엇인가?
• RQ4 분포 적응형 학습률 스케줄링은 단일 훈련 단계에서 모든 클래스 빈도 분할에서 성능 향상을 이끌 수 있는가?
• RQ5 다단계 훈련이나 사전 훈련 없이도 장기적 희귀 인식에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• ACE는 CIFAR10-LT, CIFAR100-LT, ImageNet-LT 및 iNaturalist2018 벤치마크에서 현재의 일단계 SOTA 방법보다 3–10%의 절대 정확도 향상을 달성한다.
• CIFAR100-LT-100에서 ACE는 모든 클래스에 대해 49.4%의 상위-1 정확도, 많은 샘플 클래스에선 66.1%, 중간 샘플 클래스에선 55.7%, 소수 샘플 클래스에선 23.5%를 기록하며 모든 베이스라인을 압도한다.
• 선형 스케일링($\eta_i^{\text{linear}}$)을 사용한 분포 적응형 최적화기는 제곱근 또는 균일 스케일링보다 더 뛰어난 성능을 보이며, 특히 중간 및 소수 샘플 분할에서 유의미한 개선을 이룬다.
• 스케일링을 적용한 그룹 평균 집계(ACE)는 그룹 최댓값, 연결, 스케일링 없이 평균을 내는 방식보다 우수하며, 머리 클래스 정확도를 유지하고 과신을 줄인다.
• $\alpha = 0.3$로 설정한 Mixup 증강은 최고의 전체 성능을 내지만, 영향은 중간 정도이므로 하이퍼파라미터 선택에 대해 강건함을 시사한다.
• ACE는 사전 훈련 없이도 머리 클래스 성능을 희생시키지 않고, 많은, 중간, 소수 샘플 클래스의 정확도를 동시에 향상시키는 최초의 일단계 방법이다.