[논문 리뷰] Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning

Mayee F. Chen, Daniel Y. Fu외 5명|arXiv (Cornell University)|2022. 04. 15.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 클래스 붕괴와 순열 불변성 문제를 다루어 감독형 대비 학습에서 이식 가능성과 내구성을 향상시키는 방법을 제안한다. 최적의 산포를 제어하기 위해 가중치가 부여된 클래스 조건부 InfoNCE 손실을 도입하고, 순열 불변성을 깨뜨리기 위해 클래스 조건부 오토에코더를 제안함으로써, 미세 조정에서 11.1점의 성능 향상과 다양한 데이터셋에서 악성 그룹 내구성에서 4.7점 향상, 특히 CelebA에서 11.5점 향상으로 최고 성능을 달성한다.

ABSTRACT

An ideal learned representation should display transferability and robustness. Supervised contrastive learning (SupCon) is a promising method for training accurate models, but produces representations that do not capture these properties due to class collapse -- when all points in a class map to the same representation. Recent work suggests that "spreading out" these representations improves them, but the precise mechanism is poorly understood. We argue that creating spread alone is insufficient for better representations, since spread is invariant to permutations within classes. Instead, both the correct degree of spread and a mechanism for breaking this invariance are necessary. We first prove that adding a weighted class-conditional InfoNCE loss to SupCon controls the degree of spread. Next, we study three mechanisms to break permutation invariance: using a constrained encoder, adding a class-conditional autoencoder, and using data augmentation. We show that the latter two encourage clustering of latent subclasses under more realistic conditions than the former. Using these insights, we show that adding a properly-weighted class-conditional InfoNCE loss and a class-conditional autoencoder to SupCon achieves 11.1 points of lift on coarse-to-fine transfer across 5 standard datasets and 4.7 points on worst-group robustness on 3 datasets, setting state-of-the-art on CelebA by 11.5 points.

연구 동기 및 목표

• 감독형 대비 학습(SupCon)의 한계를 해결하기 위해, 순열 불변 표현으로 인해 발생하는 클래스 붕괴와 낮은 이식 가능성 문제를 다루기 위함.
• 단순한 표현 산포가 성능 향상에 부족한 이유를 이해하기 위함. 이는 경험적으로는 성능 향상이 이루어지지만 여전히 부족하기 때문이다.
• 대부분의 표현 기하학에서 제어된 산포와 클래스 고정 순열 불변성 해체를 위한 메커니즘의 필요성을 정식화하기 위함.
• 가중치가 부여된 클래스 조건부 InfoNCE 손실과 클래스 조건부 오토에코더를 결합한 방법을 개발하고 검증하여 더 나은 표현 품질을 달성하기 위함.

제안 방법

• α로 파arameter화된 SupCon와 클래스 조건부 InfoNCE 손실의 가중 조합을 도입하여 표현 공간 내 산포 정도를 제어함.
• s_f(y)를 클래스 분산 측도로 정의하여 산포를 정량화하고, 최적의 α가 붕괴와 균일성 사이의 균형을 이룹니다.
• σ_f(z)를 부분군 군집화 측도로 정의하여 표현 품질을 평가하고, 이와 미세 조정 성능 간의 연관성을 규명함.
• 순열 불변성을 깨뜨리기 위해 잠재 부분군 군집화를 유도하는 인도적 편향을 부여하는 클래스 조건부 오토에코더를 활용함.
• S^{d-1}에서 이론적 분석과 시뮬레이션을 통해 중간 산포가 최적일 경우의 α에 대한 범위를 유도함.
• 최적화 기반 기하학적 탐색을 사용하여 이론적 주장의 타당성을 검증하기 위해 CIFAR-10과 여러 후행 작업에서 방법을 실증적으로 검증함.

실험 결과

연구 질문

• RQ1 SupCon와 클래스 조건부 InfoNCE 손실의 가중 조합은 붕괴나 과도한 균일성 없이 표현의 산포 정도를 제어할 수 있는가?
• RQ2 표현 산포만으로는 성능 향상이 부족한 이유는 무엇인가? 특히 클래스 고정 순열 불변성에 대해 불변이기 때문이다.
• RQ3 표현 기하학에서 순열 불변성을 어떻게 깰 수 있으며, 이를 통해 미세 조정 이식성과 내구성을 향상시킬 수 있는가?
• RQ4 실제 조건에서 잠재 부분군 군집화를 장려하는 데 효과적인 인도적 편향은 무엇인가?
• RQ5 클래스 조건부 오토에코더를 통해 제어된 산포와 부분군 군집화를 결합하면 이식성 및 내구성 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 적절하게 가중된 클래스 조건부 InfoNCE 손실(α ∈ (2/3, c(τ,d)))은 붕괴와 균일성 모두를 피하는 최적의 산포를 유도하며, CIFAR-10에서 검증됨.
• 최적의 기하학은 낮은 α에서 붕괴된 상태에서 시작하여 중간 α에서 산포된 상태로 전이되며, 고 α에서 균일한 상태로 전환되며, α ≈ 0.67에서 비영 산포가 나타남.
• 클래스 조건부 오토에코더는 잠재 부분군 군집화를 유도함으로써 순열 불변성을 효과적으로 깨뜨려 이식 성능 향상에 기여함.
• 제안된 방법은 기준 SupCon 대비 5개 표준 데이터셋에서 평균 11.1점의 미세 조정 정확도 향상을 달성함.
• 악성 그룹 내구성 측정에서 3개 데이터셋에서 평균 4.7점 향상되었으며, 특히 CelebA에서 11.5점 향상으로 최고 성능 달성.