[논문 리뷰] Balanced Meta-Softmax for Long-Tailed Visual Recognition

Jiawei Ren, Cunjun Yu외 5명|arXiv (Cornell University)|2020. 07. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 317

한 줄 요약

BALMS는 Balanced Softmax와 Meta Sampler를 도입하여 장꼬리 시각 인식에서 라벨 분포 변화에 대응하고 LVIS를 포함한 여러 데이터셋에서 최첨단 성과를 달성한다.

ABSTRACT

Deep classifiers have achieved great success in visual recognition. However, real-world data is long-tailed by nature, leading to the mismatch between training and testing distributions. In this paper, we show that the Softmax function, though used in most classification tasks, gives a biased gradient estimation under the long-tailed setup. This paper presents Balanced Softmax, an elegant unbiased extension of Softmax, to accommodate the label distribution shift between training and testing. Theoretically, we derive the generalization bound for multiclass Softmax regression and show our loss minimizes the bound. In addition, we introduce Balanced Meta-Softmax, applying a complementary Meta Sampler to estimate the optimal class sample rate and further improve long-tailed learning. In our experiments, we demonstrate that Balanced Meta-Softmax outperforms state-of-the-art long-tailed classification solutions on both visual recognition and instance segmentation tasks.

연구 동기 및 목표

• 표준 Softmax가 장꼬리 데이터에서 왜 편향되는지 동기 부여하고 분석하며, 이것이 일반화에 어떻게 해를 끼치는지 설명한다.
• 학습-테스트 라벨 분포 변화를 고려하는 편향되지 않은 확장으로 Balanced Softmax를 개발한다.
• 매우 불균형한 데이터에서 효과적인 재샘플링을 학습하고 최적화 문제를 완화하기 위해 Meta Sampler를 도입한다.
• 여러 장꼬리 데이터셋에서 이미지 분류 및 인스턴스 분할 작업에 대한 실증적 개선을 보여준다.

제안 방법

• 테스트 시 균형 분포와 불균형한 학습 분포를 모델링하고 대응하는 교차 엔트로피 손실을 구성하여 Balanced Softmax를 유도한다.
• 다중 클래스 Softmax 회귀에 대한 일반화 오차 경계를 최소화한다는 것을 Balanced Softmax 교차 엔트로피 최적화가 보여준다.
• 클래스 빈도 n_j를 반영하기 위해 Balanced Softmax를 𑁇 lhat(𑁈) = -log(n_y e^{𑁈eta_y} / sum_i n_i e^{𑁈eta_i}) 로 제안한다.
• 메타 셈플러를 도입하여 메타 세트의 감독된 내부 루프 최적화를 포함하는 이중 수준 메타 학습 목표를 통해 클래스별 샘플링 비율을 학습한다.
• 학습 중 미분가능한 샘플링을 가능하게 하는 Gumbel-Softmax 재매개변수화를 활용한다.
• CBS(class-balanced sampling)와의 보완적 사용을 통해 과도한 균형화를 피하고 최적화를 개선한다.

실험 결과

연구 질문

• RQ1 Balanced Softmax가 불균형한 라벨 분포로 인해 표준 Softmax가 야기하는 편향을 바로잡을 수 있는가?
• RQ2 Balanced Softmax 교차 엔트로피를 최적화하는 것이 균형 잡힌 테스트 세트에서 일반화 오차를 한정하는가?
• RQ3 학습 가능한 재샘플링 전략(Meta Sampler)이 극도로 불균형한 데이터셋의 성능을 더 향상시킬 수 있는가?
• RQ4 BALMS 구성 요소가 장꼬리 이미지 분류와 인스턴스 분할 데이터셋 모두에서 최첨단 성과를 내는가?

주요 결과

• Balanced Softmax는 표준 Softmax 및 경쟁 손실보다 불균형 요인 전반에 걸쳐 더 안정적이고 균형 잡힌 주변 우도 p(y)를 제공한다.
• BALMS는 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT 및 LVIS에서 최첨단 엔드-투-엔드 및 디커플링 학습 방법을 능가한다.
• Meta Sampler는 고도로 불균형한 설정에서 CBS의 과도한 균형화 문제를 완화하고, 특히 큰 불균형 요인에서 추가 이득을 얻는다.
• LVIS에서 BALMS는 균형 Softmax 변형 및 다른 손실 함수들을 포함한 다수의 베이스라인과 비교하여 최상의 평균 정밀도(AP)를 달성한다.
• Balanced Softmax와 Meta Sampler 및 decoupled training의 결합이 여러 벤치마크에서 가장 강력한 성과를 낸다.