[논문 리뷰] Guarding Barlow Twins Against Overfitting with Mixed Samples

Wele Gedara Chaminda Bandara, Celso M. de Melo외 1명|arXiv (Cornell University)|2023. 12. 04.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 입력 공간에서 MixUp 데이터 증강을 적용하여 특징 공간에서의 선형 보간을 유도함으로써 Barlow Twins의 자기지도 학습 프레임워크에서 과적합을 완화하는 정규화 방법인 Mixed Barlow Twins를 제안한다. 이 방법은 표현 과적합을 줄이고 일반화 능력을 향상시키기 위해 혼합 샘플의 상관관계 정렬 기반 추가 정규화 손실을 사용함으로써 CIFAR-10, CIFAR-100, TinyImageNet, STL-10 및 ImageNet에서 다운스트림 성능을 향상시킨다.

ABSTRACT

Self-supervised Learning (SSL) aims to learn transferable feature representations for downstream applications without relying on labeled data. The Barlow Twins algorithm, renowned for its widespread adoption and straightforward implementation compared to its counterparts like contrastive learning methods, minimizes feature redundancy while maximizing invariance to common corruptions. Optimizing for the above objective forces the network to learn useful representations, while avoiding noisy or constant features, resulting in improved downstream task performance with limited adaptation. Despite Barlow Twins' proven effectiveness in pre-training, the underlying SSL objective can inadvertently cause feature overfitting due to the lack of strong interaction between the samples unlike the contrastive learning approaches. From our experiments, we observe that optimizing for the Barlow Twins objective doesn't necessarily guarantee sustained improvements in representation quality beyond a certain pre-training phase, and can potentially degrade downstream performance on some datasets. To address this challenge, we introduce Mixed Barlow Twins, which aims to improve sample interaction during Barlow Twins training via linearly interpolated samples. This results in an additional regularization term to the original Barlow Twins objective, assuming linear interpolation in the input space translates to linearly interpolated features in the feature space. Pre-training with this regularization effectively mitigates feature overfitting and further enhances the downstream performance on CIFAR-10, CIFAR-100, TinyImageNet, STL-10, and ImageNet datasets. The code and checkpoints are available at: https://github.com/wgcban/mix-bt.git

연구 동기 및 목표

• 강력한 사전학습에도 불구하고 성능 저하를 초래하는 Barlow Twins의 특징 과적합 문제를 해결하기 위해.
• 일반적으로 지도 학습에서 사용되는 MixUp 정규화가 비대비, InfoMax 기반의 SSL 방법인 Barlow Twins와 같은 비대비 기반 자기지도 학습에 효과적으로 적용될 수 있는지 조사하기 위해.
• 특징 공간에서의 선형 보간 기반 정규화 항을 도입하여 Barlow Twins의 샘플 상호작용과 표현 일반화 능력을 향상시키기 위해.
• 다양한 데이터셋과 백본 아키텍처에서 제안된 방법의 효과성을 실증적으로 검증하기 위해.
• 최소한의 하이퍼파라미터 튜닝으로도 일관된 성능 향상을 달성할 수 있는 최소 코드 확장 기능을 제공하기 위해.

제안 방법

• 이 방법은 입력 공간에서의 선형 보간이 특징 공간에서도 선형 보간을 유도한다는 가정을 바탕으로 한 MixUp 기반 정규화 손실을 도입한다.
• 각 배치에서 두 개의 랜덤 샘플이 베타 분포를 따르는 혼합 계수 α를 사용하여 혼합되며, 혼합 입력 y_m = α * y_a + (1 - α) * y_b 가 생성된다.
• 신경망은 혼합 샘플에 대해 임베딩 z_m 을 생성하고, z_m 과 원본 뷰 z_a 및 z_b 의 상관관계 행렬을 계산한다.
• 특징 공간에서의 선형 보간을 가정하여, 원본 상관관계의 가중 평균으로 진짜 상관관계 행렬을 구성한다.
• 정규화 손실은 예측된 상관관계 행렬과 진짜 상관관계 행렬 간의 L2 거리로 정의되며, 원래 Barlow Twins 손실에 추가된다.
• 이 방법은 표준 Barlow Twins 구현에 비해 코드 변경이 거의 없으며, 주로 MixUp 순전파와 추가 손실 항을 추가하는 것으로 구성된다.

Figure 1 : Assessing the representation quality via $k$ -NN accuracy on the test-set during SSL training on train-set for information maximization-based Barlow Twins [ 74 ] vs. contrastive learning-based SimCLR [ 14 ] , on CIFAR-10 [ 42 ] dataset.

실험 결과

연구 질문

• RQ1 표현 차원이 증가함에 따라 사전학습 중 Barlow Twins 목적함수에 과적합 현상이 발생하는가?
• RQ2 일반적으로 지도 학습에서 사용되는 MixUp 정규화가 비대비, InfoMax 기반 자기지도 학습에 효과적으로 적용될 수 있는가?
• RQ3 입력 공간에서의 선형 보간을 유도하면 Barlow Twins에서 특징 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ4 CIFAR-10, ImageNet, TinyImageNet와 같은 다양한 데이터셋에서 최적의 성능을 내는 하이퍼파라미터 설정은 무엇인가?
• RQ5 제안된 Mixed Barlow Twins 방법이 여러 벤치마크에서 일관되게 다운스트림 k-NN 및 선형 프로빙 정확도를 향상시키는가?

주요 결과

• ResNet-18 및 프로젝터 차원 1,024를 사용할 때, CIFAR-10과 CIFAR-100에서 Mixed Barlow Twins는 표준 Barlow Twins 대비 k-NN 정확도에서 0.9%의 절대적 향상을 달성한다.
• TinyImageNet에서 이 방법은 기준선 대비 k-NN 정확도를 1.2% 향상시키며, 프로젝터 차원 1,024 및 λ_reg = 4.0일 때 최적 성능을 기록한다.
• STL-10에서 Mixed Barlow Twins는 k-NN 정확도에서 1.0% 향상되었으며, λ_reg = 2.0일 때 최고 성능을 기록한다.
• ImageNet에서 이 방법은 원래 Barlow Twins 대비 선형 프로빙 정확도를 0.8% 향상시켰으며, λ_reg = 1.0 및 프로젝터 차원 8,192를 사용한다.
• 이 방법은 작은 데이터셋에서 표준 Barlow Twins가 관찰하는 후기 훈련 에포크에서의 성능 저하를 일관되게 방지한다.
• 모든 데이터셋에서 최적의 프로젝터 차원은 1,024이며, λ_BT는 데이터셋에 따라 1/d 또는 0.0078125로 설정된다.

Figure 2 : Schematic of the proposed Mixed Barlow Twins. (a) Original Barlow Twins Algorithm [ 74 ] . (b) Proposed MixUp regularization technique to prevent Barlow Twins from overfitting and to further enhance the representation quality.