[논문 리뷰] OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set Unlabeled Data

Jongjin Park, Sukmin Yun외 2명|arXiv (Cornell University)|2021. 06. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 7

한 줄 요약

OpenCoS는 라벨이 지정된 데이터에 포함되지 않은 클래스 외의 샘플을 포함하는 개방형 집합의 레이블 없음 데이터를 효과적으로 처리하기 위해 자기지도 대비 표현을 활용하는 대비적 준지도 학습 프레임워크를 제안한다. 이는 내부 클래스 및 외부 클래스 샘플을 탐지하는 데에 사용되며, 신뢰도가 높은 내부 클래스 샘플에는 one-hot 가짜 레이블을, 외부 클래스 샘플에는 보조 배치 정규화를 통해 소프트 레이블을 할당하여 클래스 분포 불일치 상황에서 최신 기술 대비 성능을 크게 향상시킨다. 특히 Tiny-ImageNet을 외부 클래스 데이터로 사용할 경우, 라벨이 40개 뿐인 CIFAR-10에서 69.38%의 정확도를 달성한다.

ABSTRACT

Semi-supervised learning (SSL) has been a powerful strategy to incorporate few labels in learning better representations. In this paper, we focus on a practical scenario that one aims to apply SSL when unlabeled data may contain out-of-class samples - those that cannot have one-hot encoded labels from a closed-set of classes in label data, i.e., the unlabeled data is an open-set. Specifically, we introduce OpenCoS, a simple framework for handling this realistic semi-supervised learning scenario based upon a recent framework of self-supervised visual representation learning. We first observe that the out-of-class samples in the open-set unlabeled dataset can be identified effectively via self-supervised contrastive learning. Then, OpenCoS utilizes this information to overcome the failure modes in the existing state-of-the-art semi-supervised methods, by utilizing one-hot pseudo-labels and soft-labels for the identified in- and out-of-class unlabeled data, respectively. Our extensive experimental results show the effectiveness of OpenCoS under the presence of out-of-class samples, fixing up the state-of-the-art semi-supervised methods to be suitable for diverse scenarios involving open-set unlabeled data.

연구 동기 및 목표

• 라벨이 지정된 데이터 세트에 포함되지 않은 클래스 외의 샘플을 포함하는 레이블 없음 데이터가 존재할 경우, 준지도 학습(SSL)의 실용적 한계를 해결하기 위해.
• 기존 SSL 방법들이 외부 클래스 샘플을 잘못 레이블링할 경우 엔트로피 최소화 및 일致성 정규화에 실패하는 문제를 해결하기 위해.
• 비지도 표현을 활용해 내부 클래스 및 외부 클래스 레이블 없음 샘플을 탐지하고 적절히 레이블링할 수 있는 일반화 가능한 프레임워크를 제안하기 위해.
• 특히 낮은 레이블 레지임에서의 클래스 분포 불일치 상황을 고려한 실제 준지도 학습 환경에서 모델의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 라벨이 지정된 데이터와 레이블 없음 데이터 양쪽에 대해 SimCLR 기반 자기지도 대비 학습을 사용해 표현을 사전 학습함으로써, 외부 클래스 샘플의 효과적 탐지를 가능하게 한다.
• 대비 표현 유사도 기반의 탐지 기준을 적용하여 내부 클래스와 외부 클래스 레이블 없음 샘플을 구분한다.
• 내부 클래스로 가장 신뢰도가 높은 상위-k개의 레이블 없음 샘플에 대해 one-hot 가짜 레이블을 할당하고, 라벨이 지정된 데이터 세트에 통합한다.
• 모델의 사후 예측 분포에서 유도된 소프트 레이블을 외부 클래스 샘플에 적용하여 분포 이탈에 대한 강인성을 향상시킨다.
• 보조 배치 정규화 레이어를 도입하여 정규화 통계를 분리함으로써, 외부 클래스 샘플이 특징 통계에 악영향을 미치는 것을 완화한다.
• 기존의 SSL 방법들인 ReMixMatch 및 FixMatch와의 통합을 통해 개방형 조건에서 플러그 앤 플레이 방식의 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 클래스 분포 불일치 상황에서, 자기지도 대비 표현 학습이 레이블 없음 데이터 내의 외부 클래스 샘플을 효과적으로 탐지할 수 있는가?
• RQ2 외부 클래스 샘플은 기존에 기각되거나 잘못 레이블링되는 대신, 어떻게 의미 있는 방식으로 준지도 학습에 활용될 수 있는가?
• RQ3 대비 표현에 기반한 외부 클래스 샘플의 소프트 레이블링이 기존의 가짜 레이블링 대비 일반화 능력과 정확도를 향상시키는가?
• RQ4 실제 개방형 레이블 없음 데이터 설정에서 OpenCoS는 최신 기술 대비 얼마나 향상된 성능을 보이는가?
• RQ5 제안된 프레임워크는 ViT와 DINO를 포함한 다양한 백본 아키텍처 및 사전 학습 스킴에 일반화 가능한가?

주요 결과

• OpenCoS는 라벨이 40개 뿐인 CIFAR-10에서 ReMixMatch-ft의 테스트 정확도를 22.53%에서 58.02%로 향상시켰다. 이때 외부 클래스 데이터로 Tiny-ImageNet을 사용하였다.
• 동일한 벤치마크에서 OpenCoS는 라벨이 40개(클래스당 4개) 뿐인 조건에서 69.38%의 정확도를 달성하였으며, 최신 기술 기준인 OpenMatch(62.71%)를 초월하였다.
• 절단 실험 결과, 탐지, 보조 손실, 보조 배치 정규화, 상위-k 가짜 레이블링 각 구성 요소가 성능 향상에 점진적으로 기여하며, 전체 OpenCoS 모델은 58.02%의 정확도에 도달함을 확인하였다.
• DINO 사전 학습된 ViT와 결합했을 때, OpenCoS는 음식 슈퍼클래스에서 FixMatch-ft의 정확도를 66.95%에서 72.00%로 향상시켜, 비전 트랜스포머와의 호환성을 입증하였다.
• 소프트 레이블링 방식은 외부 클래스와 내부 클래스 샘플 간의 의미적 유사성을 효과적으로 포착한다(예: 개를 닮은 동물). 이 경우 유사한 샘플에 대해 더 높은 신뢰도를 할당하는 반면, 관련이 없는 샘플에는 균일한 분포에 가까워진다.
• 보조 배치 정규화 레이어의 사용은 강인성을 크게 향상시켜, 외부 클래스 샘플이 배치 통계에 미치는 악영향을 줄였다.