[논문 리뷰] i-Mix: A Strategy for Regularizing Contrastive Representation Learning

Kibok Lee, Yian Zhu외 4명|arXiv (Cornell University)|2020. 10. 17.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

i-Mix는 입력 공간과 레이블 공간에서 데이터 인스턴스와 그에 해당하는 가상 클래스를 혼합함으로써 대비 표현 학습을 위한 정규화 전략을 제안한다. 이는 시각 및 비시각 도메인에서 자기지도 표현 품질을 향상시키며, 하류 작업에서 일관된 성능 향상을 이룬다.

ABSTRACT

Contrastive representation learning has shown to be an effective way of learning representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective regularization strategy for improving contrastive representation learning in both vision and non-vision domains. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of self-supervised representations across domains, resulting in significant performance gains on downstream tasks. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes.

연구 동기 및 목표

• 시각 도메인에서 수작업으로 설계된 데이터 증강에 의존하는 대비 학습의 문제를 해결하기 위해.
• 시각 도메인을 초월해 일반적으로 적용 가능한 정규화 전략을 개발하기 위해.
• 도메인 특화의 증강 설계 없이 자기지도 표현의 품질을 향상시키기 위해.
• 일관되게 하류 성능을 향상시키는 간단하면서도 효과적인 방법을 제공하기 위해.

제안 방법

• i-Mix는 배치 내 각 데이터 샘플에 고유한 가상 클래스를 부여함으로써 대비 학습을 비모수적 분류기 학습으로 재정의한다.
• 혼합 계수를 사용하여 쌍의 샘플을 선형 보간함으로써 입력 공간에서 데이터 혼합을 수행한다.
• 동일한 혼합 계수를 사용하여 해당 가상 클래스 레이블도 동시에 혼합한다.
• 혼합된 샘플과 그에 해당하는 혼합된 가상 레이블을 사용하여 대비 손실을 계산한다.
• 기본적인 대비 학습 목표(예: InfoNCE)와 호환된다.
• 추가 파rameter를 도입하지 않으며, 어떤 대비 학습 프레임워크에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 도메인 특화의 증강에 의존하지 않고도 단순한 데이터 혼합 전략이 대비 표현 학습을 향상시킬 수 있는가?
• RQ2 입력 공간과 가상 레이블 공간에서의 혼합이 표현 품질에 어떤 영향을 미치는가?
• RQ3 i-Mix는 다양한 모델 아키텍처와 데이터셋 크기에서 일반화되는가?
• RQ4 i-Mix는 하류 선형 평가 및 하류 미세조정 성능에 어떤 영향을 미치는가?
• RQ5 정규화 효과 측면에서 i-Mix는 표준 데이터 증강 전략보다 우수한가?

주요 결과

• i-Mix는 다양한 시각 및 비시각 데이터셋에서 자기지도 표현 품질을 일관되게 향상시킨다.
• 하류 선형 평가 및 미세조정 벤치마크에서 뚜렷한 성능 향상을 달성한다.
• 제거 실험을 통해 i-Mix의 정규화 효과가 다양한 모델 및 데이터셋 크기에서 확인된다.
• 기본 증강 기법이 적용된 경우에도 개선 효과가 관찰되어 추가적인 이점임을 시사한다.
• 추가 파rameter나 아키텍처 변경 없이도 효과적인 방법임을 입증한다.
• 다양한 설정에서 표준 증강 기반의 기본 대비 학습보다 i-Mix가 우월한 성능을 보인다.