[논문 리뷰] i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning

Kibok Lee, Yian Zhu외 4명|arXiv (Cornell University)|2020. 10. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 88인용 수 49

한 줄 요약

i-Mix는 대비 표현 학습을 위한 도메인-무관한 MixUp 스타일의 정규화를 도입해 시각, 음성, 표 형식 도메인에 걸친 표현을 향상시킵니다. 배치 내에서 데이터와 가상 라벨을 확장하여 다운스트림 분류를 향상시킵니다.

ABSTRACT

Contrastive representation learning has shown to be effective to learn representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective domain-agnostic regularization strategy for improving contrastive representation learning. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of learned representations across domains, including image, speech, and tabular data. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes. The code is available at https://github.com/kibok90/imix.

연구 동기 및 목표

• 도메인별 데이터 증강으로 인해 대비 학습에서 도메인에 구애받지 않는 증강의 필요성을 제시한다.
• 배치 내에서 데이터와 가상 라벨을 혼합하는 정규화 방법으로서 i-Mix를 제안한다.
• 이미지, 음성 및 표 데이터세트에 대한 i-Mix의 교차-도메인 적용 가능성을 입증한다.
• 다양한 모델 크기, 데이터 환경, 전이 설정에서 정규화 효과를 검증하기 위한 어블레이션 실험을 보여준다.

제안 방법

• i-Mix를 배치 내에서 데이터 인스턴스와 그 가상 라벨을 혼합하는 것으로 정의한다.
• 입력과 라벨 혼합에 대해 베타 분포의 혼합 계수 lambda를 도입한다.
• 도메인 간에 N-pair, MoCo 스타일, BYOL 통합 등 여러 대비 손실에 i-Mix를 적용한다.
• 특히 도메인 증강이 희소한 경우 추가 데이터 증강을 위해 i-Mix를 InputMix와 선택적으로 결합한다.

실험 결과

연구 질문

• RQ1 i-Mix가 다양한 도메인(이미지, 음성, 표)에서 일관되게 대비 표현 학습을 개선하는가?
• RQ2 다양한 대비 프레임워크(N-pair, MoCo, BYOL)와의 상호작용이 다운스트림 정확도 측면에서 어떤가?
• RQ3 다양한 데이터셋 크기와 모델 용량에서 i-Mix의 정규화 효과는 어떠한가?

주요 결과

• i-Mix는 모든 테스트 도메인과 방법에서 일관된 정확도 향상을 보여준다(예: CIFAR-10, CIFAR-100, Speech Commands, CovType).
• MoCo v2를 사용하는 CIFAR-100에서 i-Mix는 기본 방법에 비해 최대 6.5 ppt의 개선을 달성한다.
• i-Mix로 자기지도 사전학습 후의 선형 평가가 특정 설정에서 감독 학습의 기준선에 근접하거나 이를 상회한다(예: CIFAR-10, Speech Commands).
• i-Mix는 학습 데이터가 제한적이거나 도메인 증강이 약하거나 사용할 수 없을 때 특히 유리하다.
• Table 1은 CIFAR-10, CIFAR-100, Speech Commands, CovType에 걸친 N-pair, MoCo v2, BYOL에서 i-Mix의 교차 도메인 이득을 보인다.
• 다양한 모델 크기와 더 긴 학습 기간에서도 i-Mix는 여전히 이점을 제공하며, 이는 정규화 효과를 시사한다.