[논문 리뷰] BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition

Boyan Zhou, Quan Cui외 2명|arXiv (Cornell University)|2019. 12. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 79

한 줄 요약

BBN은 누적 학습 전략을 갖춘 양측 분기 네트워크를 제시하여 긴 꼬리 시각 인식에서 표현 학습과 분류기 학습을 함께 개선하고, 여러 벤치마크에서 최첨단 성능을 보인다.

ABSTRACT

Our work focuses on tackling the challenging but natural visual recognition task of long-tailed data distribution (i.e., a few classes occupy most of the data, while most classes have rarely few samples). In the literature, class re-balancing strategies (e.g., re-weighting and re-sampling) are the prominent and effective methods proposed to alleviate the extreme imbalance for dealing with long-tailed problems. In this paper, we firstly discover that these re-balancing methods achieving satisfactory recognition accuracy owe to that they could significantly promote the classifier learning of deep networks. However, at the same time, they will unexpectedly damage the representative ability of the learned deep features to some extent. Therefore, we propose a unified Bilateral-Branch Network (BBN) to take care of both representation learning and classifier learning simultaneously, where each branch does perform its own duty separately. In particular, our BBN model is further equipped with a novel cumulative learning strategy, which is designed to first learn the universal patterns and then pay attention to the tail data gradually. Extensive experiments on four benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed BBN can significantly outperform state-of-the-art methods. Furthermore, validation experiments can demonstrate both our preliminary discovery and effectiveness of tailored designs in BBN for long-tailed problems. Our method won the first place in the iNaturalist 2019 large scale species classification competition, and our code is open-source and available at https://github.com/Megvii-Nanjing/BBN.

연구 동기 및 목표

• 길게 꼬인 분포하에서 클래스 재균형이 표현 학습 대비 분류기 학습에 어떻게 영향을 미치는지 조사한다.
• 표현 학습과 분류 학습을 공동으로 최적화하기 위한 통합된 Bilateral-Branch Network (BBN)을 제안한다.
• 학습 중 보편적 특징에서 꼬리 데이터로 초점을 점차 이동시키는 누적 학습 전략을 개발한다.
• 대규모 iNaturalist를 포함한 다수의 긴 꼬리 벤치마크에서 BBN의 효과를 입증한다.

제안 방법

• 가중치를 공유하는 이중 분기 아키텍처: 보편적 표현을 위한 일반 학습 분기(균일 샘플러)와 꼬리 중심의 분류기 학습을 위한 재균형 분기(역순 샘플러).
• 두 분기의 출력을 분기 기여를 상호 절충하는 적응 매개변수 alpha를 통해 적응적으로 융합한다.
• alpha가 훈련 에폭의 함수가 되어 점진적으로 꼬리 데이터를 강조하도록 하는 누적 학습 전략.
• 두 분기의 예측을 결합하는 가중 크로스 엔트로피 손실을 사용한 엔드-투-엔드 학습.
• 추론 시 두 분기의 기여를 평균화하고, 최종 예측의 균형을 위해 alpha를 0.5로 고정한다.

실험 결과

연구 질문

• RQ1 클래스 재균형 전략이 긴 꼬리 데이터에서 특징 표현과 분류기 학습에 동시에 어떤 영향을 미치는가?
• RQ2 표현 학습과 분류기 학습을 각각 다루는 양방향 분기 설계가 단일 분기나 2단계 방법을 능가할 수 있는가?
• RQ3 보편적 특징에서 꼬리 데이터로 초점을 옮기는 누적 학습 스케줄이 더 강한 긴 꼬리 인식 성능을 낳는가?
• RQ4 두 분기 간에 백본 가중치를 공유하는 것이 효율성과 성능에 유리한가?

주요 결과

• BBN은 불균형 팩터에 걸쳐 긴 꼬리 CIFAR-10/100에서 지속적으로 최첨단 방법보다 개선된다.
• BBN은 대규모 iNaturalist 데이터셋에서도 기준선보다 우수하며 강력한 2단계 미세 조정 방법을 능가한다.
• 재균형 분기에 대한 역샘플러는 균일 샘플러나 완전 균형 샘플러에 비해 꼬리 클래스 성능이 우수하다.
• 알파에 대한 제안된 포물선 감소 어댑터가 테스트된 전략 중 최상의 결과를 낳는다.
• 일반 분기의 특징 표현은 경쟁력을 유지하는 반면 재균형 분기는 꼬리 데이터를 효과적으로 모델링하고, 결합 가중치는 균형 잡힌 분류기 동작을 제공한다.