[논문 리뷰] Decoupling Representation and Classifier for Long-Tailed Recognition

Bingyi Kang, Saining Xie외 5명|arXiv (Cornell University)|2019. 10. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 219

한 줄 요약

논문은 표현 학습과 분류기 균형의 분리가 인스턴스-균형 표현과 간단한 분류기 조정으로 long-tailed 인식에서 최첨단 결과를 낳는다는 것을 보여준다.

ABSTRACT

The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g., by loss re-weighting, data re-sampling, or transfer learning from head- to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.

연구 동기 및 목표

• 데이터 불균형이 long-tailed 인식에서 표현 학습과 분류에 각각 미치는 영향을 조사한다.
• 다양한 샘플링 전략으로 표현을 학습하고 분류기를 독립적으로 균형시키는 분리 학습 방식을 평가한다.
• 다중 벤치마크에서 분리 방식과 공동 학습 및 기존의 메모리 기반 및 손실 기반 방법과의 비교를 수행한다.
• 복잡한 재가중치 부여나 메모리 모듈 없이도 분류기를 균형시키는 실용적이고 더 간단한 방법을 제공한다.

제안 방법

• 다양한 샘플링 전략(instance-balanced, class-balanced, square-root, progressively-balanced)으로 표현을 학습한다.
• 표현은 고정시키고 재학습(cRT), 최근접 클래스 평균(NCM), tau-정규화 가중치 스케일링 등의 방법으로 분류기를 균형시킨다.
• 학습 중에 분류기 가중치를 조정하는 방법으로 Learnable Weight Scaling(LWS)을 도입하고 연구한다.
• 로짓의 바이어스 항을 버리고 tau-정규화를 분류기 가중치에 적용하여 결정 경계를 균형 있게 만든다.
• 세 가지 데이터셋에서 분리된 방식과 공동 학습 및 최신 방법들을 비교한다.

실험 결과

연구 질문

• RQ1 표현 학습과 분류기 균형의 분리가 long-tailed 인식 성능을 향상시키는가?
• RQ2 표현 학습을 위한 어떤 샘플링 전략과 분류기 균형 방법이 가장 좋은 결과를 내는가?
• RQ3 간단하고 메모리 없는 균형 중심의 분류기 조정이 복잡한 방법과 비교하여 긴 꼬리 설정에서 성능을 맞추거나 뛰어넘을 수 있는가?

주요 결과

• 표현과 분류기의 분리는 공동 학습보다 대부분의 데이터셋과 대부분의 분할에서 성능을 높이는 경향이 있다.
• 인스턴스-균형 샘플링이 긴 꼬리 데이터에 대해 가장 일반화된 표현을 학습한다.
• cRT나 tau-정규화 가중치를 통한 분류기 균형은 꼬리 클래스의 성능을 크게 향상시키며 공동 학습 기준선보다 여러 포인트의 성능 향상을 보이기도 한다.
• tau-정규화 및 학습 가능한 가중치 스케일링은 강력한, 학습 없이 또는 최소한의 학습으로도 균형 효과를 제공하며 최첨단 결과에 근접할 수 있다.
• ImageNet-LT, Places-LT, iNaturalist에서 분리된 방법들이 간단한 균형을 사용해 여러 복잡한 방법과 메모리 기반 접근법을 능가한다.