[논문 리뷰] Long-Tailed Recognition via Weight Balancing

Shaden Alshammari, Yu-Xiong Wang외 2명|arXiv (Cornell University)|2022. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 복잡한 아키텍처나 데이터 증강 없이도 CIFAR100-LT(불균형 인자 100)에서 최신 기준 성능(SOTA)인 53.35%의 정확도를 달성하기 위해, 가중치 감쇠와 MaxNorm 정규화를 사용하여 분류기 가중치를 균형 잡는 간단하면서도 효과적인 이단계 학습 접근법을 제안한다.

ABSTRACT

In the real open world, data tends to follow long-tailed class distributions, motivating the well-studied long-tailed recognition (LTR) problem. Naive training produces models that are biased toward common classes in terms of higher accuracy. The key to addressing LTR is to balance various aspects including data distribution, training losses, and gradients in learning. We explore an orthogonal direction, weight balancing, motivated by the empirical observation that the naively trained classifier has "artificially" larger weights in norm for common classes (because there exists abundant data to train them, unlike the rare classes). We investigate three techniques to balance weights, L2-normalization, weight decay, and MaxNorm. We first point out that L2-normalization "perfectly" balances per-class weights to be unit norm, but such a hard constraint might prevent classes from learning better classifiers. In contrast, weight decay penalizes larger weights more heavily and so learns small balanced weights; the MaxNorm constraint encourages growing small weights within a norm ball but caps all the weights by the radius. Our extensive study shows that both help learn balanced weights and greatly improve the LTR accuracy. Surprisingly, weight decay, although underexplored in LTR, significantly improves over prior work. Therefore, we adopt a two-stage training paradigm and propose a simple approach to LTR: (1) learning features using the cross-entropy loss by tuning weight decay, and (2) learning classifiers using class-balanced loss by tuning weight decay and MaxNorm. Our approach achieves the state-of-the-art accuracy on five standard benchmarks, serving as a future baseline for long-tailed recognition.

연구 동기 및 목표

• 장기적 편향 데이터 분포에서 일반 클래스에 대해 딥 러닝 모델이 편향을 가지는 문제를 해결한다.
• 성능 격차의 근본 원인을 규명한다: 풍부한 학습 데이터로 인해 일반 클래스의 분류기 가중치 노름이 인위적으로 크게 되기 때문이다.
• 직교 정규화 기법을 탐색하여 각 클래스의 가중치 노름을 균형 잡고 희귀 클래스 성능을 향상시킨다.
• 특징 학습과 분류기 학습을 분리하는 간단하고 효과적인 이단계 학습 파라다임을 개발하여 일반화 성능을 향상시킨다.

제안 방법

• 모든 클래스 분류기 가중치에 L2-정규화를 적용하여 단위 노름을 강제로 유도하지만, 최적의 성능을 위해 너무 제한적임을 발견함.
• 가중치 감쇠를 사용하여 큰 가중치에 더 강한 페널티를 주어 모든 클래스에 걸쳐 더 작은, 더 균형 잡힌 가중치 노름을 유도함.
• MaxNorm 제약 조건을 도입하여 가중치 노름을 고정된 반경 내에서 제한함으로써, 작은 가중치는 성장할 수 있도록 하면서 과최적화를 방지함.
• 이단계 학습 전략을 채택함: 먼저 교차 엔트로피 손실과 조정된 가중치 감쇠를 사용해 특징를 학습하고, 이후 클래스 균형 손실과 함께 가중치 감쇠 및 MaxNorm를 사용해 분류기를 미세조정함.
• 2차원의 프리-로짓 레이어를 사용하여 학습 중 가중치의 진화를 시각화하여 노름 균형 조절의 역학을 확인함.
• 각 정규화 기법과 학습 단계의 영향을 평가하기 위해 CIFAR100-LT에서 광범위한 아블레이션 연구를 수행함.

Figure 3 : Weight decay helps learn balanced weights at hidden layers . We compare the norm distribution at each layer (which has 512 filters) from the naive model ( orange ) and the one trained with weight decay ( blue ). For each layer of a model, we sort the filter weights of each layer from high

실험 결과

연구 질문

• RQ1 왜 단순하게 학습된 모델은 장기적 편향 데이터셋에서 희귀 클래스에서 성능이 열 劣하는가?
• RQ2 기존의 데이터 또는 손실 재가중 기법과 비교해 복수의 가중치 노름 균형 조절이 장기적 편향 인식 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 L2-정규화, 가중치 감쇠, MaxNorm와 같은 다양한 정규화 기법들이 분류기 가중치의 균형과 크기에 어떤 영향을 미치는가?
• RQ4 가중치 균형 조절을 장기적 편향 인식에 활용하기 위한 최적의 학습 전략(예: 이단계 미세조정)은 무엇인가?
• RQ5 단순하고 잘 알려진 정규화 기법들이 아키텍처나 데이터 증강 변경 없이도 복잡한 최신 기준 방법을 능가할 수 있는가?

주요 결과

• 가중치 감쇠만으로도 CIFAR100-LT(IF=100)에서 나이브 학습의 38.38%에서 46.08%로 정확도가 향상되어 상대적 향상 +8%를 기록함.
• 클래스 균형 손실과 가중치 감쇠를 사용해 마지막 레이어를 미세조정하면 정확도가 52.42%로 향상되어 손실과 정규화의 조합이 유의미한 이점을 제공함.
• 최적의 설정(CB + WD)에 MaxNorm를 추가하면 추가로 1% 향상되어 CIFAR100-LT에서 최상위 1위 정확도 53.35%를 달성함.
• 마지막 두 레이어를 CB, WD, MaxNorm로 함께 미세조정하면 정확도 53.55%를 기록하여 마지막 레이어만 미세조정하는 것보다 略적으로 높은 성능을 기록함.
• 더 많은 레이어를 과도하게 미세조정하면 성능이 악화되며, 이는 클래스 균형 손실이 특징 학습 중에 기울기 갈등을 유발하기 때문으로 추정됨.
• 시각화 결과 가중치 감쇠와 MaxNorm가 특히 일반 클래스 가중치의 지배를 줄이며, 모든 클래스 간에 더 균형 잡힌 가중치 노름을 이끌어냄을 확인함.

Figure 4 : Tuning weight decay drastically improves long-tailed recognition performance. We do not use any class-balancing techniques but simply use CE loss and tune weight decay $\lambda$ to regularize all network weight. For example, tuning $\lambda$ yields $46.1\%$ accuracy on CIFAR100-LT (IF=100