[논문 리뷰] An Empirical Study and Analysis on Open-Set Semi-Supervised Learning

Huixiang Luo, Hao Cheng외 5명|arXiv (Cornell University)|2021. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 69인용 수 4

한 줄 요약

이 논문은 스타일 전이를 통해 분포 외(out-of-distribution, OOD) 샘플을 활용하여 개방형 준지도 학습에서 의사 레이블링(PL)과 데이터 증강 기반 일致성 학습(DACT)을 향상시키는 방법인 스타일 방해(Style Disturbance)를 제안한다. 내재된 분포(In-distribution, ID)와 OOD 데이터 간의 분포 갭을 줄임으로써, CIFAR-10과 Tiny ImageNet에서 기존 최고 성능(SOTA) 방법보다 각각 3.35%와 0.92% 높은 정확도를 달성한다.

ABSTRACT

Pseudo-labeling (PL) and Data Augmentation-based Consistency Training (DACT) are two approaches widely used in Semi-Supervised Learning (SSL) methods. These methods exhibit great power in many machine learning tasks by utilizing unlabeled data for efficient training. But in a more realistic setting (termed as open-set SSL), where unlabeled dataset contains out-of-distribution (OOD) samples, the traditional SSL methods suffer severe performance degradation. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. However, it is not clear whether directly removing the OOD samples is the best choice. Furthermore, why PL and DACT could perform differently in open-set SSL remains a mystery. In this paper, we thoroughly analyze various SSL methods (PL and DACT) on open-set SSL and discuss pros and cons of these two approaches separately. Based on our analysis, we propose Style Disturbance to improve traditional SSL methods on open-set SSL and experimentally show our approach can achieve state-of-the-art results on various datasets by utilizing OOD samples properly. We believe our study can bring new insights for SSL research.

연구 동기 및 목표

• 개방형 준지도 학습(open-set SSL) 환경에서, 레이블이 없는 데이터에 분포 외(OOD) 샘플이 포함된 경우 의사 레이블링(PL)과 데이터 증강 기반 일치성 학습(DACT)의 견고성에 대해 조사한다.
• PL과 DACT가 OOD 조건 하에서 성능이 다르게 나타나는 이유와, OOD 샘플을 걸러내는 것이 최적의 전략인지 분석한다.
• OOD 샘플을 잡음이 아닌 유용한 학습 신호로 활용할 수 있는지 탐색한다.
• OOD 스타일의 변형을 통합하여 PL과 DACT를 동시에 향상시키는 통합 방법인 스타일 방해(Style Disturbance)를 제안한다.
• 적절히 활용된 OOD 샘플이 전통적인 상한선을 초월하는 성능 향상을 가능하게 할 수 있음을 입증한다.

제안 방법

• 스타일 방해(Style Disturbance)는 AdaIN 기반 스타일 전이 네트워크를 사용하여 내재된 분포(ID) 샘플에 OOD 스타일 특징을 적용함으로써, 레이블이 있는(ID) 데이터와 레이블이 없는(ID+OOD) 데이터 간의 분포 갭을 줄인다.
• DACT에 대해서는, 레이블이 없는 데이터의 약한 증강 및 강한 증강 버전에 모두 스타일 방해를 적용하여 일致성과 견고성을 향상시킨다.
• PL에 대해서는, 의사 레이블 생성 과정에서 ID 샘플의 특징 표현에 OOD 스타일 변형을 직접 적용한다.
• 스타일 전이 네트워크는 ID 샘플을 담은 콘텐츠 데이터셋과 OOD 샘플을 담은 스타일 데이터셋을 사용하여 훈련하며, 인코더로 VGG-19를 사용하고 가중치 학습이 가능한 디코더를 사용한다.
• DACT에 대해서는 단순화된 OOD 탐지 모듈을 사용하고, PL에 대해서는 OOD 샘플이 완벽하게 식별된다고 가정한다.
• 훈련 중에 보간 가중치 β와 ω와 같은 하이퍼파ram터들을 [0, 0.5] 범위에서 무작위로 샘플링하여 데이터 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 왜 OOD 샘플이 포함된 개방형 준지도 학습 환경에서 DACT는 PL보다 더 높은 견고성을 보이는가?
• RQ2 개방형 준지도 학습에서 모델 일반화를 향상시키기 위해 OOD 샘플을 제거하는 것이 최적의 전략인가?
• RQ3 OOD 샘플을 거르는 대신 유용하게 활용할 수 있으며, 만약 그렇다면 어떻게 활용할 수 있는가?
• RQ4 DACT의 견고성과 ID 및 OOD 데이터 간의 분포 갭 사이의 관계는 어떠한가?
• RQ5 스타일 기반 데이터 증강을 통해 OOD 샘플을 활용함으로써, PL과 DACT를 동시에 향상시킬 수 있는 통합 방법이 존재하는가?

주요 결과

• DACT는 개방형 준지도 학습에서 본질적으로 PL보다 더 견고하지만, 성능을 유지하기 위해 신중하고 다양한 데이터 증강 전략이 필요하다.
• 제안된 스타일 방해(Style Disturbance) 방법은 OOD 스타일 특징의 변형을 통해 ID와 OOD 데이터 간의 분포 갭을 줄임으로써, PL과 DACT 기반 준지도 학습 모두를 향상시킨다.
• 1,000개의 레이블이 있는 CIFAR-10에서, 이 방법은 이전 SOTA 방법인 MTCF(Yu et al., 2020)보다 3.35% 높은 정확도를 달성한다.
• Tiny ImageNet에서는 DS3L(Guo et al., 2020)이라는 다른 SOTA 기준보다 0.92% 높은 성능을 보였다.
• 실험 결과, OOD 샘플이 적절히 통합되면 유용할 수 있음을 확인하였으며, 이는 OOD 샘플을 반드시 걸러내야 한다는 가정을 도전한다.
• 절단 실험 결과, 스타일 전이 모듈과 OOD 데이터 사용이 성능 향상에 크게 기여함을 보여주며, 이는 방법의 설계가 타당함을 검증한다.