[논문 리뷰] To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions

Junjie Zhang, Lingqiao Liu외 2명|arXiv (Cornell University)|2019. 12. 10.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 13

한 줄 요약

이 논문은 장기적 분포 시각 인식 문제를 해결하기 위해 특징 추출과 분류 학습을 분리하는 단순하지만 효과적인 보조 학습 프레임워크를 제안한다: 분류기는 클래스 균형 샘플링을 통해 꼬리 클래스를 우선시하여 학습하고, 특징 추출기는 일반적인 랜덤 샘플링과 자기지도 학습을 함께 사용하여 과적합을 방지한다. 이 방법은 복잡한 구성 요소 없이도 장기적 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Real-world visual data often exhibits a long-tailed distribution, where some ''head'' classes have a large number of samples, yet only a few samples are available for ''tail'' classes. Such imbalanced distribution causes a great challenge for learning a deep neural network, which can be boiled down into a dilemma: on the one hand, we prefer to increase the exposure of tail class samples to avoid the excessive dominance of head classes in the classifier training. On the other hand, oversampling tail classes makes the network prone to over-fitting, since head class samples are often consequently under-represented. To resolve this dilemma, in this paper, we propose a simple-yet-effective auxiliary learning approach. The key idea is to split a network into a classifier part and a feature extractor part, and then employ different training strategies for each part. Specifically, to promote the awareness of tail-classes, a class-balanced sampling scheme is utilised for training both the classifier and the feature extractor. For the feature extractor, we also introduce an auxiliary training task, which is to train a classifier under the regular random sampling scheme. In this way, the feature extractor is jointly trained from both sampling strategies and thus can take advantage of all training data and avoid the over-fitting issue. Apart from this basic auxiliary task, we further explore the benefit of using self-supervised learning as the auxiliary task. Without using any bells and whistles, our model achieves superior performance over the state-of-the-art solutions.

연구 동기 및 목표

• 샘플 균형 조정 시 과적합 위험이 발생하고, 불균형을 忽시할 경우 꼬리 클래스 성능이 열 劣하는 장기적 분포 시각 인식에서의 학습 딜레마를 해결하기 위해.
• 복잡한 데이터 증강이나 손실 재가중 없이도 딥 네트워크에서 특징 표현 학습을 향상시키기 위해.
• 보조 학습 프레임워크 내에서 클래스 균형 샘플링과 일반 랜덤 샘플링을 조합함으로써 모델 일반화 능력 향상 여부를 조사하기 위해.
• 자기지도 학습이 불균형 설정에서 특징 품질 향상에 도움이 되는 추가 보조 과제로 효과적인지 평가하기 위해.

제안 방법

• 네트워크는 공유 특징 추출기와 분류기 헤드로 분리되며, 분류기는 클래스 균형 샘플링(CBS)을 사용해 꼬리 클래스 인식을 향상시킨다.
• 보조 학습 과제로 특징 추출기가 일반적인 랜덤 샘플링(RRS)을 통해 학습되어 모든 데이터로부터 학습하고 과적합을 줄인다.
• 특징 추출기는 CBS와 RRS 양측 모두를 통해 공동 최적화되어 두 샘플링 전략의 장점을 모두 활용한다.
• 자기지도 학습을 통한 회전 예측이 추가 보조 과제로 사용되어 특징 일반화 능력을 더욱 향상시킨다.
• 모든 과제에서 특징 추출기를 공유하지만 각각의 분류기는 별도로 사용되어 간섭 없이 공동 최적화가 가능하다.
• 손실 가중치(λ₁:λ₂)와 같은 하이퍼파rameter는 CBS와 RRS의 기여도를 균형 있게 조정하기 위해 튜닝되었으며, 최적 성능은 0.5:1에서 달성된다.

실험 결과

연구 질문

• RQ1 클래스 균형 샘플링과 랜덤 샘플링을 조합한 단순한 보조 학습 프레임워크가 장기적 분포 시각 인식에서 성능 향상에 기여하는가?
• RQ2 다양한 샘플링 전략을 함께 사용해 특징 추출기를 학습할 경우, 단일 전략 학습보다 과적합이 줄어드는가?
• RQ3 자기지도 학습이 보조 과제로 사용될 경우, 불균형 설정에서 특징 표현 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법의 성능 향상 요인이 데이터 증강 때문인지, 보조 학습 메커니즘의 내재적 이점 때문인가?

주요 결과

• 제안된 CBS+RRS 프레임워크는 ImageNet-LT 및 Places-LT에서 최신 기준 성능을 초월하여 새로운 최고 성능 기록을 달성한다.
• λ₁:λ₂ = 0.5:1인 모델이 가장 높은 종합 성능을 기록하여, RRS 보조 과제가 특징 학습에서 주도적인 역할을 한다는 것을 시사한다.
• 자기지도 학습 기반의 회전 예측은 데이터 증강을 넘어서 성능 향상을 크게 이끌어내어, 의미 있는 보조 과제로서의 역할을 입증한다.
• 시각화 결과 제안된 방법이 기존 기준 대비 더 잘 분리된 특징과 더 균형 잡힌 분류기 가중치 노름을 생성함을 확인하여, 개선된 표현과 공정성을 확인한다.
• 제거 분석 결과 CBS와 RRS를 함께 학습하는 것이 단계적 학습보다 더 효과적이며, 종단 간 최적화의 이점이 뚜렷하다는 것을 입증한다.
• 회전 기반 데이터 증강만으로는 자기지도 학습 보조 과제의 성능을 따라오지 못해, 성능 향상 요인이 단순히 데이터 다양성 증가 때문이 아니라는 점을 증명한다.