[논문 리뷰] SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption

Dara Bahri, Heinrich Jiang외 2명|arXiv (Cornell University)|2021. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 37

한 줄 요약

SCARF는 경험적 주변분포에서 랜덤하게 선택한 특징 손상을 통해 뷰를 생성함으로써 표 데이터에 대한 간단한 자기감독 대조 학습을 도입하고, 지도 학습 성능, 레이블 노이즈에 대한 강건성, OpenML-CC18 데이터셋에서의 준지도 학습을 향상시킨다.

ABSTRACT

Self-supervised contrastive representation learning has proved incredibly successful in the vision and natural language domains, enabling state-of-the-art performance with orders of magnitude less labeled data. However, such methods are domain-specific and little has been done to leverage this technique on real-world tabular datasets. We propose SCARF, a simple, widely-applicable technique for contrastive learning, where views are formed by corrupting a random subset of features. When applied to pre-train deep neural networks on the 69 real-world, tabular classification datasets from the OpenML-CC18 benchmark, SCARF not only improves classification accuracy in the fully-supervised setting but does so also in the presence of label noise and in the semi-supervised setting where only a fraction of the available training data is labeled. We show that SCARF complements existing strategies and outperforms alternatives like autoencoders. We conduct comprehensive ablations, detailing the importance of a range of factors.

연구 동기 및 목표

• 표 데이터에 대한 자기감독적이고 도메인에 구애받지 않는 사전 학습 접근법을 고무하고 개발한다.
• 경험적 주변분포를 이용해 특징의 임의 부분집합을 손상시켜 뷰를 형성한다.
• 완전 지도, 레이블 노이즈, 그리고 준지도 설정에서 다운스트림 분류 성능의 향상을 입증한다.
• 하이퍼파라미터에 대한 강건성과 구성 선택의 소거 실험을 통해 Scarf의 효과를 확립한다.

제안 방법

• 특징의 임의 부분집합을 무작위로 선택하고 각 특징을 그 경험적 주변분포로부터의 무작위 샘플로 교체하여 손상된 뷰를 생성한다.
• 원본 뷰와 손상된 뷰를 모두 인코더 f와 사전 학습 헤드 g를 통과시켜 z와 z~를 얻는다.
• InfoNCE 손실로 z와 z~를 정렬시키면서 다른 샘플들로부터 음수 샘플을 구별하도록 학습한다.
• 인코더 f에 분류 헤드 h를 연결하고 라벨이 있는 데이터에서 엔드-투-엔드로 학습하여 미세 조정한다.
• 사전 학습 기간을 결정하기 위해 검증 InfoNCE 손실에서 조기 중단을 선택적으로 사용한다.

실험 결과

연구 질문

• RQ1 Scarf 사전 학습이 완전 지도 설정에서 표 데이터의 다운스트림 분류 정확도를 향상시키는가?
• RQ2 Scarf가 레이블 노이즈에 강건하고 준지도 환경에서 이로운가?
• RQ3 Scarf가 다른 정규화 또는 증강 기법 및 다양한 하이퍼파라미터와 어떻게 상호 작용하는가?
• RQ4 표 데이터에 대해 Scarf가 제안한 접근법보다 덜 효과적인 대체 손상 방식이나 손실이 있는가?
• RQ5 뷰 구성과 손상 전략의 중요성에 대한 어떤 제거 실험이 밝혀지는가?

주요 결과

• Scarf 사전 학습은 사전 학습되지 않은 기본선 대비 69개의 OpenML-CC18 표 데이터 세트에서 성능을 향상시킨다.
• Scarf는 레이블 노이즈 하에서와 훈련 데이터의 일부만 라벨링된(준지도 설정) 상황에서도 성능을 향상시킨다.
• 다른 방법들(예: mixup, 레이블 스무딩, 증류, 드롭아웃)과 Scarf를 결합하면 추가 이득이 발생하여 보완적 이점을 시사한다.
• 제거 실험에서 Scarf의 주변 샘플링 손상이 대체 손상보다 더 효과적이고 피처 스케일링에 강건하다는 것을 보여준다.
• Scarf는 배치 크기, 손상 비율, 소프트맥스 온도에 비교적 둔감하며, 적절한 기본값(c ≈ 0.6)이 잘 작동한다.