[논문 리뷰] MixMOOD: A systematic approach to class distribution mismatch in semi-supervised learning using deep dataset dissimilarity measures.

Saúl Calderón-Ramírez, Luis Oala외 5명|arXiv (Cornell University)|2020. 06. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 6

한 줄 요약

MixMOOD는 사전 훈련된 Wide-ResNet 특징 공간을 활용하여 레이블이 없는 데이터셋 간의 유사도를 신속하고 모델에 종속되지 않게 측정하는 깊이 있는 데이터셋 이질성 측정법(DeDiMs)을 도입함으로써, 훈련 전에 비정상적인 데이터 분포에 대응하는 데 체계적인 방법을 제안한다. DeDiMs는 레이블이 없는 데이터셋의 분포 불일치 문제를 정량적으로 평가하고 순위를 매겨, 혼합 매칭(MixMatch) 정확도와 강한 상관관계를 보이며 분포 이탈 상황에서도 성능 향상을 위한 최적의 레이블이 없는 데이터 선택을 가능하게 한다.

ABSTRACT

In this work, we propose MixMOOD - a systematic approach to mitigate effect of class distribution mismatch in semi-supervised deep learning (SSDL) with MixMatch. This work is divided into two components: (i) an extensive out of distribution (OOD) ablation test bed for SSDL and (ii) a quantitative unlabelled dataset selection heuristic referred to as MixMOOD. In the first part, we analyze the sensitivity of MixMatch accuracy under 90 different distribution mismatch scenarios across three multi-class classification tasks. These are designed to systematically understand how OOD unlabelled data affects MixMatch performance. In the second part, we propose an efficient and effective method, called deep dataset dissimilarity measures (DeDiMs), to compare labelled and unlabelled datasets. The proposed DeDiMs are quick to evaluate and model agnostic. They use the feature space of a generic Wide-ResNet and can be applied prior to learning. Our test results reveal that supposed semantic similarity between labelled and unlabelled data is not a good heuristic for unlabelled data selection. In contrast, strong correlation between MixMatch accuracy and the proposed DeDiMs allow us to quantitatively rank different unlabelled datasets ante hoc according to expected MixMatch accuracy. This is what we call MixMOOD. Furthermore, we argue that the MixMOOD approach can aid to standardize the evaluation of different semi-supervised learning techniques under real world scenarios involving out of distribution data.

연구 동기 및 목표

• 레이블이 없는 데이터의 분포 불일치가 반감독 학습 성능에 미치는 영향, 특히 MixMatch에서의 영향을 조사하기 위해.
• SSLD에서 레이블이 없는 데이터 선택에 의미적 유사도에 의존하는 데서 기인하는 한계를 규명하기 위해.
• 혼합 매칭(MixMatch) 정확도를 최대화하기 위해 레이블이 없는 데이터셋을 정량적이고 모델에 종속되지 않는 히وري스틱으로 선택하기 위한 방법을 개발하기 위해.
• 실제 세계의 분포 이탈 상황에서 SSDL 방법의 평가를 표준화하기 위해.

제안 방법

• 저자들은 3개의 다중 클래스 작업에 걸쳐 90개의 다양한 분포 불일치 시나리오를 포함하는 포괄적인 OOD 분석 테스트 베드를 설계하여 MixMatch의 강건성 평가를 수행한다.
• 레이블이 있는 데이터셋과 레이블이 없는 데이터셋 간의 유사도를 사전에 훈련된 Wide-ResNet의 특징 표현을 사용하여 계산하는 깊이 있는 데이터셋 이질성 측정법(DeDiMs)을 도입한다.
• DeDiMs는 훈련 이전에 평가되며, 빠르고 모델에 종속되지 않도록 설계되어 있어 사전에 레이블이 없는 데이터의 선택이 가능하다.
• 이 방법은 DeDiM 점수에 따라 레이블이 없는 데이터셋을 순위 매긴다. 높은 점수는 높은 예상 MixMatch 성능을 의미한다.
• 히وري스틱적인 의미적 유사도에 의존하지 않고, 특징 공간 거리의 측정을 통해 데이터셋 간 이질성을 정량화한다.
• 이 프레임워크는 MixMOOD로 명명되며, 분포 불일치로 인한 성능 저하를 완화하기 위해 체계적인 레이블이 없는 데이터의 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터의 클래스 분포 불일치가 반감독 학습에서 MixMatch의 성능에 어떤 영향을 미치는가?
• RQ2 레이블이 있는 데이터와 레이블이 없는 데이터 간의 의미적 유사도가 SSLD에서 레이블이 없는 데이터 선택에 신뢰할 수 있는 지표인가?
• RQ3 깊이 있는 데이터셋 이질성 측정법(DeDiMs)은 훈련 이전에 MixMatch 정확도를 정량적으로 예측할 수 있는가?
• RQ4 DeDiMs는 최적의 레이블이 없는 데이터셋 선택을 통해 모델 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 MixMOOD는 실제 세계의 분포 이탈 조건에서 SSDL 방법의 평가를 표준화할 수 있는가?

주요 결과

• 레이블이 있는 데이터와 레이블이 없는 데이터 간의 의미적 유사도는 레이블이 없는 데이터 선택에 부적절한 히وري스틱이며, MixMatch 성능을 신뢰성 있게 예측하지 못한다.
• DeDiM 점수와 실제 MixMatch 정확도 사이에 강한 상관관계가 존재하여, DeDiMs가 모델 성능 예측에 신뢰할 수 있는 예측도구로 유효함을 입증한다.
• 제안된 MixMOOD 프레임워크는 예상 정확도 기반으로 훈련 이전에 레이블이 없는 데이터셋을 효과적이고 정량적으로 순위 매길 수 있다.
• DeDiMs는 계산이 빠르고 모델에 종속되지 않아 표준 SSDL 파이프라인에 쉽게 통합할 수 있다.
• 레이블이 있는 분포와 유사한 레이블이 없는 데이터의 선택을 통해 분포 이탈에 대한 강건성을 향상시킨다.
• MixMOOD는 실제 OOD 시나리오에서 SSDL 방법의 평가를 표준화하여 재현 가능성과 비교 가능성 향상에 기여한다.