[논문 리뷰] Margin Calibration for Long-Tailed Visual Recognition

Yidong Wang, Bowen Zhang외 4명|arXiv (Cornell University)|2021. 12. 14.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 MARC(Margin Calibration)을 제안하며, 헤드(일반) 클래스와 테일(희귀) 클래스 간의 로짓을 균형 있게 만들기 위해 분류 마진을 校정하는 단순하면서도 효과적인 방법을 제시한다. 단지 2K 파라미터를 가진 학습 가능한 클래스별 마진 캘리브레이션 함수를 도입함으로써, MARC는 CIFAR-LT, ImageNet-LT, Places-LT, iNaturalist-LT에서 최신 기준 성능을 달성하며, 계산 오버헤드는 최소화하고 코드는 단 세 줄로 구현할 수 있다.

ABSTRACT

The long-tailed class distribution in visual recognition tasks poses great challenges for neural networks on how to handle the biased predictions between head and tail classes, i.e., the model tends to classify tail classes as head classes. While existing research focused on data resampling and loss function engineering, in this paper, we take a different perspective: the classification margins. We study the relationship between the margins and logits (classification scores) and empirically observe the biased margins and the biased logits are positively correlated. We propose MARC, a simple yet effective MARgin Calibration function to dynamically calibrate the biased margins for unbiased logits. We validate MARC through extensive experiments on common long-tailed benchmarks including CIFAR-LT, ImageNet-LT, Places-LT, and iNaturalist-LT. Experimental results demonstrate that our MARC achieves favorable results on these benchmarks. In addition, MARC is extremely easy to implement with just three lines of code. We hope this simple method will motivate people to rethink the biased margins and biased logits in long-tailed visual recognition.

연구 동기 및 목표

• 장기적인 희귀 시각 인식에서 헤드(일반) 클래스와 테일(희귀) 클래스 간 모델 예측의 불균형을 해결하기 위해.
• 분류 성능에 핵심적인 영향을 미치는 마진과 로짓 간의 캘리브레이션되지 않은 관계를 탐구하기 위해.
• 모델 표현 방식을 변경하거나 복잡한 재가중 기법이 필요 없이, 단순하고 효과적인 마진 캘리브레이션 방법을 제안하기 위해.
• 마진 캘리브레이션을 통해 로짓을 균형 있게 조정함으로써 헤드와 테일 클래스 간의 성능 격차를 줄이기 위해.
• 장기적인 희귀 학습에서 캘리브레이션되지 않은 마진의 역할을 재고하도록 동기를 부여하기 위해.

제안 방법

• 표준 훈련 이후에 초기로 학습된 마진을 조정하기 위해, 2K개의 학습 가능한 파라미터를 가진 클래스별 마진 캘리브레이션 함수를 제안한다.
• 클래스의 카디널리티에 따라 의존하는 학습 가능한 함수를 사용하여, 각 클래스별 스케일링 인자를 학습함으로써 마진을 캘리브레이션한다.
• 추론 중에 캘리브레이션 함수를 로짓에 적용하여, 테일 클래스가 헤드 클래스 대비 더 높은 신뢰도 점수를 받도록 보장한다.
• 표준 훈련 후에 마진 캘리브레이션을 수행하는 두 단계 훈련 과정을 사용하며, 최소한의 하이퍼파라미터 튜닝으로 단순한 최적화 기법을 적용한다.
• 온도 유사 스케일링 파라미터 γ를 사용하며, 다양한 데이터셋에서 최적 성능을 내기 위해 경험적으로 1.2로 설정한다.
• 이 방법은 플러그 앤 플레이 방식이며, 단지 세 줄의 코드로 구현 가능하며, 어떤 백본과 손실 함수와도 호환된다.

실험 결과

연구 질문

• RQ1 장기적인 희귀 데이터셋에서 클래스 빈도와 캘리브레이션되지 않은 마진과 로짓 간의 상관관계는 어떠한가?
• RQ2 모델 표현 방식을 변경하지 않고도, 마진 캘리브레이션만으로도 장기적인 희귀 시각 인식 벤치마크에서 성능 향상을 이룰 수 있는가?
• RQ3 데이터 재샘플링이나 손실 재가중 기법에 의존하지 않는 단순한 학습 가능한 마진 캘리브레이션 함수가 기존 방법들을 능가할 수 있는가?
• RQ4 MARC는 헤드와 테일 클래스 간의 로짓과 마진 균형에 어떻게 영향을 미치는가?
• RQ5 마진 캘리브레이션은 테일 클래스를 헤드 클래스로 잘못 분류하는 것을 줄일 수 있는가?

주요 결과

• CIFAR-LT, ImageNet-LT, Places-LT, iNaturalist-LT에서 MARC는 테일 클래스의 클래스별 정확도를 크게 향상시키며, 동시에 헤드 클래스의 성능도 유지한다.
• 캘리브레이션 이후, 로짓과 마진이 클래스 간에 더 균형 잡히게 되어, 헤드 클래스 측면의 편향이 감소한다.
• CIFAR-100-LT(200)에서 γ = 0일 때도 MARC는 상위 1 정확도 45.2%를 기록하며, 손실 재가중 없이도 효과를 입증한다.
• 최적의 γ 값은 1.2이며, 이 이상의 값은 헤드 클래스 가중치의 과도한 억제로 성능 저하를 초래한다.
• MARC는 DisAlign보다 마진과 기울기 안정성에서 뛰어나며, 클래스 간에 더 일관된 캘리브레이션을 보여준다.
• 시각화 결과 MARC가 혼동 행렬의 대각선 요소 간 격차를 줄임을 확인하여, 테일 클래스의 잘못된 분류가 줄어들었음을 확인한다.