[논문 리뷰] Towards Domain-Agnostic Contrastive Learning

Vikas Verma, Minh-Thang Luong외 3명|arXiv (Cornell University)|2020. 11. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 9

한 줄 요약

이 논문은 도메인에 종속되지 않는 대비 학습(DACL)을 제안한다. 이 방법은 도메인 특화 데이터 증강 기법에 의존하지 않고, 믹스업 기반 노이즈를 사용하여 대비 학습을 위한 양성 및 음성 샘플을 생성한다. 선형, 기하학적, 이진 믹스업을 사용해 입력 또는 히든 상태에서 데이터를 혼합함으로써, DACL은 표본, 이미지, 그래프 데이터 전반에서 최신 기준 성능을 달성하며, 가우시안 노이즈 기반 기준보다 뛰어나고, SimCLR와 같은 도메인 특화 방법과 효과적으로 조합된다.

ABSTRACT

Despite recent success, most contrastive self-supervised learning methods are domain-specific, relying heavily on data augmentation techniques that require knowledge about a particular domain, such as image cropping and rotation. To overcome such limitation, we propose a novel domain-agnostic approach to contrastive learning, named DACL, that is applicable to domains where invariances, and thus, data augmentation techniques, are not readily available. Key to our approach is the use of Mixup noise to create similar and dissimilar examples by mixing data samples differently either at the input or hidden-state levels. To demonstrate the effectiveness of DACL, we conduct experiments across various domains such as tabular data, images, and graphs. Our results show that DACL not only outperforms other domain-agnostic noising methods, such as Gaussian-noise, but also combines well with domain-specific methods, such as SimCLR, to improve self-supervised visual representation learning. Finally, we theoretically analyze our method and show advantages over the Gaussian-noise based contrastive learning approach.

연구 동기 및 목표

• 크롭핑이나 회전과 같은 도메인 특화 데이터 증강 기법이 필요로 하는 대비 자기지도 학습 방법의 한계를 해결하기 위해.
• 대비 학습에서 의미적으로 유사한(양성) 및 비유사한(음성) 샘플을 생성하기 위한 일반 목적의 도메인에 종속되지 않는 방법을 개발하기 위해.
• 믹스업 노이즈가 자기지도 표현 학습에서 가우시안 노이즈보다 더 잘 일반화되는 이유를 이론적으로 정당화하기 위해.
• 표본, 이미지, 그래프 데이터 등 다양한 데이터 모odal에서 DACL의 효과성을 입증하기 위해.
• DACL이 도메인 특화 증강 기법과 어떻게 조합되어 성능을 향상시키는지 보여주기 위해.

제안 방법

• DACL은 주어진 샘플을 무작위 샘플과 입력 또는 히든 상태 수준에서 혼합함으로써 믹스업 노이즈를 사용해 양성 샘플을 생성한다.
• 세 가지 믹스업 변형이 탐색되었으며, 각각 선형 믹스업(Eq. 3), 기하학적 믹스업(Eq. 5), 이진 믹스업(Eq. 6)으로, 서로 다른 혼합 전략을 정의한다.
• 혼합된 샘플이 무작위 음성 샘플보다 앵커보다 더 가까워지도록 양성 쌍을 구성함으로써 대비 목표를 충족시킨다: sim(h_anchor, h_mix) > sim(h_anchor, h_neg).
• 그래프와 같은 비유클리드 데이터의 경우, 구조적 정보를 유지하기 위해 믹스업이 히든 표현 공간에 적용된다.
• 이론적으로 분석을 통해 라데마처 복잡도와 마진 분석를 통해 믹스업 노이즈가 가우시안 노이즈보다 더 좋은 일반화 한계를 가짐을 보였다.
• DACL은 SimCLR와 같은 도메인 특화 방법과 통합되며, 데이터 증강을 믹스업 노이즈로 대체함으로써 상호 보완적인 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 믹스업 노이즈는 대비 자기지도 학습에서 작업에 특화된 데이터 증강 기법의 도메인에 종속되지 않는 대안이 될 수 있는가?
• RQ2 믹스업 노이즈는 자기지도 표현 학습에서 가우시안 노이즈보다 더 나은 일반화를 이끌어내는가?
• RQ3 DACL은 표본, 이미지, 그래프 데이터와 같은 다양한 데이터 모달에서 어떻게 성능을 발휘하는가?
• RQ4 DACL은 SimCLR와 같은 도메인 특화 증강 기법과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?
• RQ5 다양한 데이터 설정에서 믹스업 노이즈의 최적 하이퍼파라미터는 무엇인가?

주요 결과

• DACL은 표본, 이미지, 그래프 데이터 전반에서 가우시안 노이즈 기반 대비 학습을 모두 능가한다.
• Fashion-MNIST에서 DACL은 선형 평가 정확도 93.4%를 기록하여 가우시안 노이즈 기준 91.8%를 초월한다.
• CIFAR-10에서 DACL은 선형 정확도 87.2%를 달성하여 가우시안 노이즈 기준 85.1%를 뛰어넘고, SimCLR와 조합했을 때 1.3% 향상된다.
• CIFAR-100에서 DACL은 선형 정확도를 68.9%로 향상시켜 가우시안 노이즈 기준 66.7%를 초월하며, SimCLR와의 조합으로 1.1% 향상된다.
• ImageNet에서 DACL과 SimCLR를 조합하면 탑-1 정확도 74.1%를 기록하여 SimCLR 단독 사용 대비 1.2% 향상되며, 강력한 일반화 능력과 보완성의 가능성을 입증한다.