[논문 리뷰] Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models

Beier Zhu, Kaihua Tang외 2명|arXiv (Cornell University)|2023. 10. 12.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 CLIP과 같은 기초 모델에서 레이블 편향을 제거하기 위해 후행 처리(post-hoc) 방법인 일반화 로짓 조정(Genearalized Logit Adjustment, GLA)을 제안한다. GLA는 기초 모델의 사전 훈련 레이블 분포를 유일하게 후행 데이터로부터 추정하고, 이를 통해 편향이 제거된 제로샷 모델과 미세조정된 모델을 앙상블한다. GLA는 ImageNet에서 1.5 pp의 정확도 향상을 달성했으며, 소수 샘플 및 장수 꼬리 분포 벤치마크에서 일관된 성능 향상을 보이며, 클래스 균형 분포 하에서 베이지안 최적임을 입증한다.

ABSTRACT

Foundation models like CLIP allow zero-shot transfer on various tasks without additional training data. Yet, the zero-shot performance is less competitive than a fully supervised one. Thus, to enhance the performance, fine-tuning and ensembling are also commonly adopted to better fit the downstream tasks. However, we argue that such prior work has overlooked the inherent biases in foundation models. Due to the highly imbalanced Web-scale training set, these foundation models are inevitably skewed toward frequent semantics, and thus the subsequent fine-tuning or ensembling is still biased. In this study, we systematically examine the biases in foundation models and demonstrate the efficacy of our proposed Generalized Logit Adjustment (GLA) method. Note that bias estimation in foundation models is challenging, as most pre-train data cannot be explicitly accessed like in traditional long-tailed classification tasks. To this end, GLA has an optimization-based bias estimation approach for debiasing foundation models. As our work resolves a fundamental flaw in the pre-training, the proposed GLA demonstrates significant improvements across a diverse range of tasks: it achieves 1.5 pp accuracy gains on ImageNet, an large average improvement (1.4-4.6 pp) on 11 few-shot datasets, 2.4 pp gains on long-tailed classification. Codes are in https://github.com/BeierZhu/GLA.

연구 동기 및 목표

• 웹 스케일 사전 훈련 데이터의 편향으로 인해 발생하는 기초 모델에서 간과된 레이블 편향을 규명하고 해결하는 것.
• 원래 사전 훈련 데이터셋에 접근할 수 없더라도 제로샷 기초 모델의 편향을 제거할 수 있는 실용적인 방법을 개발하는 것.
• 편향이 제거된 제로샷 모델과 미세조정된 모델을 통계적으로 최적의 방식으로 앙상블하여 후행 성능을 향상시키는 것.
• 다양한 설정—다수 샘플, 소수 샘플, 장수 꼬리 학습—에서 여러 미세조정 파라다임 하에서 방법을 평가하는 것.

제안 방법

• GLA는 사전 훈련 데이터에 접근할 필요 없이 후행 데이터에서의 오차를 최소화하는 제약 조건이 있는 최적화 문제를 통해 기초 모델의 레이블 편향을 추정한다.
• 후행 레이블과 모델 예측값만을 사용하여 사전 훈련 분포의 기울기 편향을 보정하기 위해 제로샷 모델의 로짓 간격을 조정한다.
• 이 방법은 베이지안 결정 이론에 기반하여, 클래스 균형 분포를 가진 타겟 분포에 대해 최종 앙상블이 베이지안 최적 분류기임을 보장한다.
• GLA는 후행 처리 방식으로, 후행 데이터에서 유도된 추정된 레이블 사전 확률에 기반해 제로샷 모델의 로짓을 재가중하여 편향 제거를 수행한다.
• 편향이 제거된 제로샷 모델은 학습된 융합 가중치를 사용해 미세조정된 모델과 앙상블되어 정확도와 강건성을 향상시킨다.
• 이 방법은 엔드 투 엔드 미세조정, 선형 프로빙, 프롬프트 튜닝을 포함한 다양한 미세조정 파라다임에 적용된다.

Figure 1 : (a) Per class accuracy of CLIP-ViT/B16 on ImageNet. Class index are sorted using the estimated pre-training label prior. Curves are smoothed for better visualization. (b) Beak-down performance of different models on ImageNet. We equally divide the ImageNet classes into three subgroups, ac

실험 결과

연구 질문

• RQ1 웹 스케일 사전 훈련 데이터의 편향으로 인해 기초 모델에서 발생하는 레이블 편향이, 특히 희귀 클래스에서 후행 성능을 떨어뜨리는가?
• RQ2 원래 사전 훈련 데이터셋에 접근하지 않고도 레이블 편향을 효과적으로 추정하고 수정할 수 있는가?
• RQ3 편향이 제거된 제로샷 모델과 미세조정된 모델을 앙성화하면 표준 앙성화나 단독 미세조정보다 성능이 향상되는가?
• RQ4 GLA는 소수 샘플, 다수 샘플, 장수 꼬리 학습과 같은 다양한 후행 설정에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 편향 제거 방법이 클래스 균형 평가 조건 하에서 통계적으로 최적인가?

주요 결과

• GLA는 ImageNet에서 1.5个百分点(pp)의 정확도 향상을 달성했으며, 특히 꼬리 클래스에서 성능 향상이 뚜렷하다.
• 11개의 소수 샘플 벤치마크에서 GLA는 평균 1.4에서 4.6 pp의 향상을 보였으며, 희귀 클래스에서 두드러진 성능 향상이 있었다.
• 장수 꼬리 분류 문제에서는 2.4 pp의 향상을 기록하여, 클래스 불균형에 대한 강건성을 입증했다.
• DomainNet의 스케치 도메인에서 GLA는 제로샷 정확도를 93.00%까지 향상시켰으며, 표준 제로샷(92.25%)과 사전 훈련 레이블 사전 확률을 사용한 편향 제거(89.50%)를 모두 초월했다.
• 엔드 투 엔드, 선형 프로빙, 프롬프트 튜닝을 포함한 세 가지 미세조정 파라다임 전반에서 강건한 성능 향상을 보였다.
• 특히 꼬리 클래스에서 WiSE-FT와 ProGrad보다 성능이 뛰어나며, 이들 방법은 꼬리 클래스에서 성능 저하를 겪는다.

Figure 2 : Illustration of debiasing process on ImageNet validation set. (a) The original distribution of zero-shot outputs; (b) the estimated pre-train distribution $\mathbf{q}$ based on our algorithm; (c) the distribution of debiased zero-shot outputs using estimated $\mathbf{q}$ .