[논문 리뷰] Long-Tailed Classification with Gradual Balanced Loss and Adaptive Feature Generation

Zihan Zhang, Xiang Xiang|arXiv (Cornell University)|2022. 02. 28.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 장수분포 이미지 분류를 위한 이중 단계 프레임워크인 GLAG을 제안한다. 먼저 Gradual Balanced Loss (GraLoss)를 사용해 강력한 특징 모델을 훈련한 후, Adaptive Feature Generator (AFG)를 통해 부족한 꼬리 클래스에 대해 적응형으로 클래스별 특징을 생성한다. GLAG는 동적 신뢰도 캘리브레이션과 지식 정복을 통해 특징 표현을 향상시키고 클래스 분포를 균형 잡아, CIFAR100-LT, ImageNetLT, iNaturalist에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

The real-world data distribution is essentially long-tailed, which poses great challenge to the deep model. In this work, we propose a new method, Gradual Balanced Loss and Adaptive Feature Generator (GLAG) to alleviate imbalance. GLAG first learns a balanced and robust feature model with Gradual Balanced Loss, then fixes the feature model and augments the under-represented tail classes on the feature level with the knowledge from well-represented head classes. And the generated samples are mixed up with real training samples during training epochs. Gradual Balanced Loss is a general loss and it can combine with different decoupled training methods to improve the original performance. State-of-the-art results have been achieved on long-tail datasets such as CIFAR100-LT, ImageNetLT, and iNaturalist, which demonstrates the effectiveness of GLAG for long-tailed visual recognition.

연구 동기 및 목표

• 딥 러닝에서 헤드 클래스가 지배하고 꼬리 클래스가 샘플 수 부족으로 인해 성능이 떨어지는 장수분포 데이터 문제를 해결하기 위해.
• 표준 교차 엔트로피를 더 균형 잡힌 손실 함수로 대체함으로써 분리 훈련에서 특징 모델의 강건성을 향상시키기 위해.
• 헤드 클래스에서의 지식을 활용해 꼬리 클래스에 대해 고품질의 클래스별 특징을 시뮬레이션하여 생성함으로써 클래스 분포 균형을 복원하기 위해.
• 특징 생성 과정에서 신뢰도 점수를 동적으로 조정하는 적응형 메커니즘을 개발하여 수동 하이퍼파라미터 튜닝을 방지하기 위해.
• 제안된 방법이 다양한 장수분포 데이터셋과 기존의 분리 훈련 프레임워크에 대해 일반화 가능한지 입증하기 위해.

제안 방법

• 특징 학습을 향상시키기 위해 상호작용 파rameter α를 사용해 분류기 로짓을 동적으로 조정하는 재가중 전략인 Gradual Balanced Loss (GraLoss)를 도입한다.
• 이중 단계 훈련 파이프라인을 활용한다: 첫 번째 단계에서 GraLoss를 사용해 특징 기반 모델을 훈련하고, 두 번째 단계에서 특징 모델을 고정한 후 실제 샘플과 생성된 샘플을 사용해 분류기를 미세조정한다.
• 클래스별 신뢰도 점수 β를 사용해 꼬리 클래스의 합성 특징을 생성하는 Adaptive Feature Generator (AFG)를 제안한다. 이 β는 검증 정확도에 기반해 적응적으로 업데이트된다.
• 두 번째 단계에서 헤드 클래스에 지식 정복 손실을 적용하여 훈련을 안정화하고 모든 클래스 간 성능 균형을 확보한다.
• 수동 튜닝을 피하고 각 클래스별로 탄력적인 분포 캘리브레이션을 가능하게 하는 신뢰도 인식적이고 적응형 전략을 사용하여 β를 설정한다.
• 기존의 분리 훈련 방법들(cRT, LWS, MiSLAS 등)과 GraLoss를 결합하여 일반화 가능성과 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 동적으로 로짓을 조정하는 수정된 교차 엔트로피 손실이 장수분포 분류의 분리 훈련에서 특징 모델 성능을 향상시킬 수 있는가?
• RQ2 헤드 클래스에서의 지식을 활용해 꼬리 클래스에 대해 합성 특징을 생성하면 기존의 표준 데이터 증강 기법보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 생성된 샘플의 적응형 신뢰도 캘리브레이션은 고정 또는 히우리스틱 설정보다 성능이 뛰어나게 작용하는가?
• RQ4 기존의 재가중 및 데이터 증강 기법과 비교해 본다면, 제안된 방법은 헤드, 미디엄, 꼬리 클래스 전반에 걸쳐 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법이 다양한 장수분포 데이터셋과 분리 훈련 프레임워크에 대해 얼마나 일반화 가능한가?

주요 결과

• GraLoss는 CIFAR100-LT에서 다양한 분리 훈련 방법에 대해 표준 교차 엔트로피와 로짓 조정 손실보다 우수한 성능을 보이며, 정확도를 0.2%~0.8% 향상시킨다.
• 장수분포 설정(클래스당 100, 50, 20, 10개 샘플)에서 GLAG는 GraLoss와 적응형 신뢰도를 사용할 경우 평균 정확도 51.7%를 달성하여 기준 방법들을 초월한다.
• 적응형 β를 사용한 Adaptive Feature Generator는 CIFAR100-LT에서 소수 샘플 클래스 정확도 33.9%를 기록하며, 고정 신뢰도 및 비적응형 방법보다 뛰어난 성능을 보인다.
• 지식 정복 손실은 클래스 간 성능 균형을 확보하고 꼬리 클래스의 성능 저하를 줄이며 전체 정확도를 높이는 데 기여한다.
• GLAG는 ImageNetLT와 iNaturalist에서도 최신 기술 수준의 성능을 기록하며, 다양한 실제 장수분포 데이터셋에 대한 강력한 일반화 능력을 입증한다.
• 절단 분석 결과, GraLoss, AFG, 지식 정복을 조합할 경우 최고의 성능을 기록하며, 정적 설정 대비 적응형 신뢰도 메커니즘이 성능 향상에 크게 기여한다.