[논문 리뷰] OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers

Kuniaki Saito, Donghyun Kim외 1명|arXiv (Cornell University)|2021. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 23

한 줄 요약

OpenMatch는 한정된 레이블을 가진 데이터에서 이상치를 효과적으로 탐지하고 거부할 수 있도록, one-vs-all (OVA) 이상치 탐지와 소프트 일致성 정규화를 결합한 새로운 오픈셋 세미서파이드 러닝 프레임워크를 제안한다. OVA 분류기를 통해 정상 샘플과 이상치를 구분하고, 새로운 오픈셋 소프트-일致성 손실을 적용함으로써, 레이블이 없는 이상치에 대한 강건성을 향상시킨다. OpenMatch는 CIFAR10에서 300개의 레이블된 예제만으로도 오차율을 10.4%로 낮추어 기존 최고 성능(SOTA)을 뛰어넘으며, 새로운 이상치를 탐지하는 데서 완전히 지도 학습 모델을 능가한다.

ABSTRACT

Semi-supervised learning (SSL) is an effective means to leverage unlabeled data to improve a model's performance. Typical SSL methods like FixMatch assume that labeled and unlabeled data share the same label space. However, in practice, unlabeled data can contain categories unseen in the labeled set, i.e., outliers, which can significantly harm the performance of SSL algorithms. To address this problem, we propose a novel Open-set Semi-Supervised Learning (OSSL) approach called OpenMatch. Learning representations of inliers while rejecting outliers is essential for the success of OSSL. To this end, OpenMatch unifies FixMatch with novelty detection based on one-vs-all (OVA) classifiers. The OVA-classifier outputs the confidence score of a sample being an inlier, providing a threshold to detect outliers. Another key contribution is an open-set soft-consistency regularization loss, which enhances the smoothness of the OVA-classifier with respect to input transformations and greatly improves outlier detection. OpenMatch achieves state-of-the-art performance on three datasets, and even outperforms a fully supervised model in detecting outliers unseen in unlabeled data on CIFAR10.

연구 동기 및 목표

• 레이블된 데이터와 레이블되지 않은 데이터의 레이블 공간이 동일하다는 가정을 하는 기존 세미서파이드 러닝(SSL) 방법의 한계를 해결하기 위해, 레이블되지 않은 데이터에 새로운 카테고리(이상치)가 포함될 경우 실패하는 문제를 해결한다.
• 레이블된 이상치 데이터가 필요 없이도 정상 샘플을 정확히 분류하고 이상치를 탐지 및 거부할 수 있는 강건한 오픈셋 세미서파이드 러닝(OSSL) 프레임워크를 개발한다.
• 새로운 소프트 일치성 정규화 손실을 통해 매끄럽고 일致하는 표현을 학습함으로써 OSSL에서의 이상치 탐지 성능을 향상시킨다.
• FixMatch와 OVA 기반의 신규성 탐지 기법의 장점을 통합하여, 하나의 엔드 투 엔드 프레임워크로 구현함으로써 정상 샘플에 대한 높은 정확도와 뛰어난 이상치 탐지 능력을 동시에 확보한다.

제안 방법

• 각 알려진 클래스에 대해 one-vs-all (OVA) 분류기를 도입하여, 모든 OVA 분류기가 기각할 경우 샘플을 이상치로 간주함으로써 비지도 이상치 탐지가 가능하도록 한다.
• 동일한 입력에 대한 두 개의 증강된 뷰에서 이상치 탐지기의 로짓 간 거리를 최소화하는 오픈셋 소프트-일치성 정규화(SOCR) 손실을 제안하여, 이상치 탐지 함수의 매끄러움을 촉진한다.
• FixMatch의 일치성 학습을 OVA 탐지기에서 정상 샘플로 분류된 레이블이 없는 샘플들에만 적용함으로써, 가짜 레이블링이 신뢰할 수 있는 샘플들에만 적용되도록 보장한다.
• OVA 신뢰도 점수에 임계값을 적용하여 정상 샘플과 이상치를 구분함으로써, 옛해 방법(예: Otsu의 임계값 설정)에 의존하지 않도록 한다.
• 메인 헤드는 분류를 수행하고 OVA 헤드는 이상치 탐지를 수행하는 다중 헤드 아키텍처를 활용하며, 공유된 특징 인코더를 통해 두 헤드를 함께 훈련한다.
• FixMatch의 교차 엔트로피 손실, SOCR 손실, 그리고 OVA 이상치 탐지용 가중 손실의 조합을 최적화하여, 정상 샘플 분류와 이상치 거부를 동시에 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 레이블되지 않은 데이터의 레이블 공간에 레이블된 데이터셋에 존재하지 않는 새로운 카테고리가 포함되어 있을 경우, 세미서파이드 러닝 프레임워크가 레이블되지 않은 데이터 내의 이상치를 효과적으로 탐지하고 거부할 수 있는가?
• RQ2 레이블이 없는 이상치가 존재하는 오픈셋 환경에서, 가짜 레이블링이 불가능한 상황에서 일치성 정규화는 어떻게 적응시킬 수 있는가?
• RQ3 OVA 기반 이상치 탐지와 소프트 일치성 정규화를 결합하면, 기존의 OSSL 방법에 비해 정상 샘플 분류 정확도와 이상치 탐지 성능을 모두 향상시킬 수 있는가?
• RQ4 제한된 레이블 데이터와 노이즈가 포함된 레이블이 없는 데이터를 기반으로 훈련된 모델이, 이전에 보지 못한 이상치 카테고리를 탐지하는 데서 완전히 지도 학습 모델을 능가할 수 있는가?

주요 결과

• OpenMatch는 CIFAR10에서 각 클래스당 레이블이 300개 뿐인 조건에서 오차율 10.4%를 기록하여, 동일한 설정에서 이전 SOTA(20.3%)를 크게 뛰어넘었다.
• ImageNet-30에서 훈련 데이터의 10%만 레이블이 있을 경우, OpenMatch는 평균 정확도 87.1%를 달성하여 FixMatch(83.0%)와 MTC(74.2%)를 모두 초월했다.
• 학습 중에 볼 수 없었던 이상치를 탐지하는 데서 OpenMatch는 전체 지도 학습 모델보다 AUROC에서 3.4% 높은 성능을 보이며, 새로운 카테고리로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 제안된 오픈셋 소프트-일치성 정규화(SOCR) 손실은 데이터 증강에 따른 OVA 분류기 출력의 매끄러움을 유도함으로써 이상치 탐지 성능을 크게 향상시켰다.
• 비록 이상치가 정상 샘플과 시각적으로 유사하거나 레이블이 없는 훈련 세트에 포함되지 않았더라도, OpenMatch는 정상 샘플 분류 정확도를 유지하면서 효과적으로 이상치를 거부하는 것으로 확인되었다.
• 제거 분석 결과, OVA 이상치 탐지기와 SOCR 손실 모두가 성능 향상에 핵심적인 역할을 하며, 각각이 전체 성능 향상에 기여하고 있음을 확인했다.