[논문 리뷰] To Balance or Not to Balance: An Embarrassingly Simple Approach for Learning with Long-Tailed Distributions.

Junjie Zhang, Lingqiao Liu외 2명|arXiv (Cornell University)|2019. 12. 10.

Anomaly Detection Techniques and Applications인용 수 2

한 줄 요약

이 논문은 장수분포 시각 데이터셋에서 깊이 신경망을 훈련시키기 위한 단순하면서도 효과적인 방법을 제안한다. 네트워크를 특징 추출기와 분류기로 분리하고, 둘 다 클래스 균형 샘플링을 사용하며, 특징 추출기에는 무작위 샘플링 하에 보조 자기지도 학습 작업을 적용한다. 복잡한 구성 요소 없이도 과적합을 완화하고 꼬리 클래스의 일반화 성능을 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world visual data often exhibits a long-tailed distribution, where some ''head'' classes have a large number of samples, yet only a few samples are available for ''tail'' classes. Such imbalanced distribution causes a great challenge for learning a deep neural network, which can be boiled down into a dilemma: on the one hand, we prefer to increase the exposure of tail class samples to avoid the excessive dominance of head classes in the classifier training. On the other hand, oversampling tail classes makes the network prone to over-fitting, since head class samples are often consequently under-represented. To resolve this dilemma, in this paper, we propose a simple-yet-effective auxiliary learning approach. The key idea is to split a network into a classifier part and a feature extractor part, and then employ different training strategies for each part. Specifically, to promote the awareness of tail-classes, a class-balanced sampling scheme is utilised for training both the classifier and the feature extractor. For the feature extractor, we also introduce an auxiliary training task, which is to train a classifier under the regular random sampling scheme. In this way, the feature extractor is jointly trained from both sampling strategies and thus can take advantage of all training data and avoid the over-fitting issue. Apart from this basic auxiliary task, we further explore the benefit of using self-supervised learning as the auxiliary task. Without using any bells and whistles, our model achieves superior performance over the state-of-the-art solutions.

연구 동기 및 목표

• 헤드 클래스가 지배하고 꼬리 클래스가 부족하게 표현된 실제 시각 데이터셋에서 장수분포 클래스 분포 문제를 해결하기 위해.
• 꼬리 클래스의 노출을 늘리는 것과 과도한 샘플링으로 인한 과적합을 방지하는 훈련 딜레마를 해결하기 위해.
• 복잡한 데이터 증강 또는 아키텍처 수정 없이도 희귀(꼬리) 클래스에서의 모델 일반화 성능을 향상시키기 위해.
• 특징 추출기의 보조 학습 작업을 통해 클래스 균형 샘플링과 무작위 샘플링을 조합하는 효과를 탐색하기 위해.

제안 방법

• 네트워크를 특징 추출기와 분류기로 분리하여 각 구성 요소에 대해 별도의 훈련 전략을 적용할 수 있도록 한다.
• 분류기와 특징 추출기 모두가 클래스 균형 샘플링을 사용하여 부족하게 표현된 꼬리 클래스에 대한 인식 능력을 향상시킨다.
• 특징 추출기의 경우 일반적인 무작위 샘플링을 사용하는 보조 훈련 작업을 도입하여 모든 데이터로부터 학습하고 과적합을 방지한다.
• 특징 추출기는 둘 다의 샘플링 전략을 통합 최적화하여 균형 잡힌 샘플링의 장점과 전체 데이터 노출의 이점을 모두 활용한다.
• 자기지도 학습을 보조 작업으로 탐색하여 추가적인 레이블이 필요 없이도 특징 품질을 향상시킨다.
• 복잡한 구성 요소나 추가 기능 없이 전략적 샘플링과 보조 감독에만 의존한다.

실험 결과

연구 질문

• RQ1 다른 샘플링 전략을 사용하는 이중 훈련 전략이 장수분포 시각 인식 작업 성능 향상에 기여하는가?
• RQ2 보조 작업을 통해 클래스 균형 샘플링과 무작위 샘플링을 조합하면 꼬리 클래스 학습에서 과적합을 완화하는가?
• RQ3 자기지도 학습을 보조 작업으로 사용할 경우, 불균형 설정에서 특징 표현 품질을 얼마나 향상시킬 수 있는가?
• RQ4 복잡한 데이터 또는 모델 엔지니어링 없이도 제안된 방법이 최신 기술 수준의 접근법보다 우수한가?

주요 결과

• 복잡한 데이터 증강이나 모델 수정 없이도 제안된 방법이 장수분포 시각 기준 테스트에서 최신 기술 수준의 성능을 달성한다.
• 분류기와 특징 추출기 모두에 클래스 균형 샘플링을 적용함으로써 꼬리 클래스의 인식 정확도가 크게 향상된다.
• 무작위 샘플링 하에 설정된 보조 훈련 작업은 특징 추출기가 희귀 클래스에 과적합하지 않고 더 잘 일반화하도록 돕는다.
• 자기지도 학습을 보조 작업으로 사용하면 성능이 추가로 향상되어, 불균형 설정에서 비지도 사전 훈련의 효과를 입증한다.
• 손실 재가중 또는 고급 데이터 샘플링 기법과 같은 추가 구성 요소 없이도 기존 접근법을 능가한다.