[논문 리뷰] Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning

Qing Yu, Daiki Ikami외 2명|arXiv (Cornell University)|2020. 07. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 교차 최적화를 사용하여 분류 모델과 이상치 탐지기(OOD)를 동시에 학습하는 다중 작업 커리큘럼 프레임워크를 제안한다. 반복적으로 OOD 점수와 네트워크 파라미터를 개선함으로써 노이즈가 섞인 비라벨 데이터를 걸러내어, 비라벨 데이터에 OOD 샘플이 포함되어 있어도 높은 성능의 준지도 학습을 가능하게 한다. 이 방법은 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, OOD 탐지에서 AUROC 점수가 99.8%를 초과한다.

ABSTRACT

Semi-supervised learning (SSL) has been proposed to leverage unlabeled data for training powerful models when only limited labeled data is available. While existing SSL methods assume that samples in the labeled and unlabeled data share the classes of their samples, we address a more complex novel scenario named open-set SSL, where out-of-distribution (OOD) samples are contained in unlabeled data. Instead of training an OOD detector and SSL separately, we propose a multi-task curriculum learning framework. First, to detect the OOD samples in unlabeled data, we estimate the probability of the sample belonging to OOD. We use a joint optimization framework, which updates the network parameters and the OOD score alternately. Simultaneously, to achieve high performance on the classification of in-distribution (ID) data, we select ID samples in unlabeled data having small OOD scores, and use these data with labeled data for training the deep neural networks to classify ID samples in a semi-supervised manner. We conduct several experiments, and our method achieves state-of-the-art results by successfully eliminating the effect of OOD samples.

연구 동기 및 목표

• 라벨이 부여된 데이터에 포함되지 않은 비정상 데이터(OOD) 샘플이 포함된 비라벨 데이터를 다루는 현실적이지만 연구가 부족한 오픈셋 준지도 학습 환경을 해결하기 위해.
• 기존 준지도 학습 방법이 비라벨 데이터에 OOD 샘플이 포함되어 있을 경우 성능 저하가 발생하는 한계를 극복하기 위해.
• 커리큘럼 학습을 활용하여 OOD 샘플을 동시에 탐지하고, 내부 분포(ID) 샘플에 대해 강건한 분류기를 동시에 학습하는 통합 학습 프레임워크를 개발하기 위해.
• 라벨이 부족한 저샷 설정에서 비라벨 데이터를 활용해 탐지기 학습을 보완함으로써 OOD 탐지 성능을 향상시키기 위해.

제안 방법

• 모델은 뎃글 신경망 파라미터와 각 샘플의 OOD 점수를 번갈아가며 최적화하는 통합 최적화 프레임워크를 사용하며, 처음에는 라벨이 있는 데이터를 내부 분포(ID)로 간주하고, 나머지 비라벨 데이터를 모두 OOD로 간주한다.
• 라벨이 있는 샘플에는 초기 OOD 점수를 0으로, 비라벨 샘플에는 1로 설정한 후, 반복적인 최적화를 통해 노이즈가 섞인 할당을 수정한다.
• 커리큘럼 학습 전략을 적용하여, 낮은 OOD 점수(즉, ID일 가능성이 높은) 비라벨 샘플만 선택하여 준지도 학습에 활용한다.
• OOD 탐지와 준지도 학습 분류를 다중 작업 학습 문제로 통합함으로써 공유 표현 학습을 가능하게 한다.
• 필터링된 비라벨 ID 데이터와 라벨 데이터에 대해 기본 준지도 학습 방법인 MixMatch를 사용하여 분류기 학습을 수행한다.
• Otsu 임계값 설정을 사용하여 학습된 OOD 점수 기반으로 ID와 OOD 샘플을 분리할 수 있는 기준을 자동으로 결정한다.

실험 결과

연구 질문

• RQ1 라벨 데이터가 제한적인 상황에서, 통합 최적화 프레임워크가 비라벨 데이터 내의 OOD 샘플을 효과적으로 탐지할 수 있는가?
• RQ2 네트워크 파라미터와 OOD 점수 간의 교차 최적화가 저샷 설정에서 탐지 정확도를 어떻게 향상시키는가?
• RQ3 OOD 점수 기반 커리큘럼 학습이 OOD 샘플이 존재하는 상황에서 준지도 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기존의 OOD 탐지 및 준지도 학습 방법과 비교해 본다면, 제안된 방법은 오픈셋 환경에서 어떤 성능을 보이는가?
• RQ5 비라벨 데이터에 ID 클래스와 유사하지만 동일하지 않은 OOD 샘플(예: CIFAR-10의 동물 클래스)이 포함되어 있을 경우, 이 프레임워크는 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 오픈셋 준지도 학습 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법들에 비해 뚜렷한 성능 우위를 보였다.
• CIFAR-10 및 SVHN 데이터셋에서 OOD 탐지에 대해 AUROC 점수는 98.86%에서 100.00%까지 기록했으며, Hendrycks & Gimpel(50.92%) 및 ODIN(54.54%) 등의 기준 방법들보다 뚜렷이 뛰어났다.
• 250개의 라벨 샘플 설정에서, 기준 모델의 테스트 정확도 82.42%를 86.44%로 향상시켰으며, OOD 탐지에서는 정밀도 98.48%와 재현율 99.22%를 유지했다.
• OOD 샘플이 ID 클래스와 유사한 경우(예: CIFAR-10의 동물 클래스)에도 기준 모델 대비 2%의 성능 우위를 확보했으며, OOD 탐지에서 정밀도 94%, 재현율 98%를 기록했다.
• 동시에 발표된 방법(UASD)에 비해 준지도 학습 정확도(86.44% 대 83.53%)와 OOD 탐지 정밀도(99.22% 대 96.84%) 모두에서 뛰어난 성능을 보였다.
• Otsu 임계값 설정을 통한 OOD 점수 히스토GRAM 분석을 통해 ID와 OOD 샘플이 효과적으로 분리되었으며, 이는 효과적인 샘플 필터링을 확인한다.