[논문 리뷰] Contrastive Adapters for Foundation Model Group Robustness

Michael Zhang, Christopher Ré|arXiv (Cornell University)|2022. 07. 14.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 기초 모델(FM)의 그룹 분포 이탈에 대한 강건성을 향상시키기 위해 FM을 미세조정하지 않고도 가능한 대비 어댑터를 제안한다. 동일한 클래스에 속하는 샘플 임베딩 간의 거리를 좁히고, 다른 클래스 간의 거리를 넓히는 대비 손실을 사용해 경량 어댑터를 훈련시킴으로써, 9개의 벤치마크에서 최악의 그룹 정확도가 8.5~56.0个百分点 향상되었으며, 전체 모델 재학습 수준의 성능을 달성하면서도 파라미터의 ≤1%만을 훈련시킨다.

ABSTRACT

While large pretrained foundation models (FMs) have shown remarkable zero-shot classification robustness to dataset-level distribution shifts, their robustness to subpopulation or group shifts is relatively underexplored. We study this problem, and find that FMs such as CLIP may not be robust to various group shifts. Across 9 robustness benchmarks, zero-shot classification with their embeddings results in gaps of up to 80.7 percentage points (pp) between average and worst-group accuracy. Unfortunately, existing methods to improve robustness require retraining, which can be prohibitively expensive on large foundation models. We also find that efficient ways to improve model inference (e.g., via adapters, lightweight networks with FM embeddings as inputs) do not consistently improve and can sometimes hurt group robustness compared to zero-shot (e.g., increasing the accuracy gap by 50.1 pp on CelebA). We thus develop an adapter training strategy to effectively and efficiently improve FM group robustness. Our motivating observation is that while poor robustness results from groups in the same class being embedded far apart in the foundation model "embedding space," standard adapter training may not bring these points closer together. We thus propose contrastive adapting, which trains adapters with contrastive learning to bring sample embeddings close to both their ground-truth class embeddings and other sample embeddings in the same class. Across the 9 benchmarks, our approach consistently improves group robustness, raising worst-group accuracy by 8.5 to 56.0 pp over zero-shot. Our approach is also efficient, doing so without any FM finetuning and only a fixed set of frozen FM embeddings. On benchmarks such as Waterbirds and CelebA, this leads to worst-group accuracy comparable to state-of-the-art methods that retrain entire models, while only training $\leq$1% of the model parameters.

연구 동기 및 목표

• 기초 모델(FM)의 제로샷 분류에서 부분집단 또는 그룹 분포 이탈에 대한 강건성을 조사하기 위해.
• 비용이 많이 드는 전체 모델 미세조정 없이 FM의 그룹 강건성을 향상시키는 데 도전하기 위해.
• 사전 훈련된 FM 임베딩만을 사용해 효율적인 어댑터 기반 방법을 개발하여 강건성을 향상시키기 위해.
• 기본 어댑터 및 선형 프로브 방법에서 관찰되는 일관성 부족과 강건성 저하 문제를 해결하기 위해.
• 동일 클래스 샘플의 임베딩이 임베딩 공간에서 더 잘 정렬되도록 명시적으로 설계된 훈련 전략을 개발하기 위해.

제안 방법

• 냉각된 기초 모델 임베딩에 경량 어댑터를 훈련시켜 분류에 더 적합한 변환을 수행하기 위해.
• 동일 클래스 샘플 임베딩 간의 거리를 좁히는 대비 손실을 사용하기 위해.
• 양의 쌍(동일한 클래스)은 끌어당기고, 음의 쌍(다른 클래스)은 밀어내는 감독 대비 손실을 적용하기 위해.
• 클래스 수준의 정렬을 위해 표준 교차 엔트로피 손실을 유지하면서, 샘플 수준의 임베딩에 대비 정규화를 추가하기 위해.
• 기초 모델의 미세조정 없이, FM에서 제공하는 임베딩만을 사용해 어댑터를 엔드 투 엔드로 훈련하기 위해.
• 기초 모델을 냉각시키고 임베딩을 고정함으로써, 어댑터 파라미터만을 훈련시켜 효율성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 기초 모델은 그룹 분포 이탈 상황에서도 제로샷 성능을 모든 부분집단에서 유지할 수 있는가?
• RQ2 기본 어댑터 및 선형 프로브 방법이 왜 때로는 그룹 강건성을 떨어뜨리는가?
• RQ3 대비 학습이 어댑터 훈련에 효과적으로 적용되어 동일 클래스 샘플의 임베딩이 임베딩 공간에서 더 잘 정렬되도록 할 수 있는가?
• RQ4 기초 모델의 미세조정 없이도 최악의 그룹 정확도를 크게 향상시킬 수 있는가?
• RQ5 전체 모델 재학습이 필요한 최첨단 방법과 비교했을 때, 대비 어댑터의 강건성과 효율성은 어떠한가?

주요 결과

• 9개의 강건성 벤치마크에서 대비 어댑터는 제로샷 분류 대비 최악의 그룹 정확도를 8.5에서 56.0个百分点 향상시켰다.
• CelebA 데이터셋에서 대비 어댑터는 제로샷의 74.0%와 WiSE-FT의 89.6%를 뛰어넘어 90.0%의 최악의 그룹 정확도를 달성했다.
• CelebA에서 대비 어댑터는 최악의 그룹 정확도 격차를 0.7个百分点로 줄였으며, 제로샷의 7.9个百分点와 비교해 뚜렷한 개선을 보였다.
• Waterbirds에서 이 방법은 제로샷(49.8%)과 ERM 어댑터(60.8%)를 뛰어넘어 83.7%의 최악의 그룹 정확도를 달성했다.
• 전체 모델 재학습 방법인 WiSE-FT와 유사한 성능을 달성하면서도, 모델 파라미터의 ≤1%만을 훈련시었다.
• 대비 어댑터는 표준 어댑터가 실패하는 그룹 불균형 설정에서도 일관되게 강건성을 향상시켰다.