[논문 리뷰] More Than Meets The Eye: Semi-supervised Learning Under Non-IID Data

Calderon-Ramirez, Saul, Luis Oala|arXiv (Cornell University)|2021. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 5

한 줄 요약

이 논문은 비독립identically distributed (non-IID) 데이터 하에서 준지도학습(Semi-Supervised Learning, SSDL)에서 일반적으로 쓰이는 의미론적 데이터셋 매칭 기법의 문제를 도전하며, 이러한 히ュ리스틱 기법이 MixMatch와 같은 최신 모델의 성능을 떨어뜨릴 수 있음을 입증한다. 이에 따라 사전에 훈련된 ImageNet 분류기의 특징 공간에서 밀도 기반의 이질성 측정법을 사용하여 비라벨 데이터를 선택하는 것이 더 신뢰할 수 있고 정량적인 기준이 되며, 광범위한 실험과 공개된 시뮬레이션 샌드박스를 통해 검증되었다.

ABSTRACT

A common heuristic in semi-supervised deep learning (SSDL) is to select unlabelled data based on a notion of semantic similarity to the labelled data. For example, labelled images of numbers should be paired with unlabelled images of numbers instead of, say, unlabelled images of cars. We refer to this practice as semantic data set matching. In this work, we demonstrate the limits of semantic data set matching. We show that it can sometimes even degrade the performance for a state of the art SSDL algorithm. We present and make available a comprehensive simulation sandbox, called non-IID-SSDL, for stress testing an SSDL algorithm under different degrees of distribution mismatch between the labelled and unlabelled data sets. In addition, we demonstrate that simple density based dissimilarity measures in the feature space of a generic classifier offer a promising and more reliable quantitative matching criterion to select unlabelled data before SSDL training.

연구 동기 및 목표

• 라벨이 있는 데이터와 비라벨 데이터 간의 분포 불일치가 준지도학습(SSDL) 성능에 미치는 영향을 조사하는 것.
• 비라벨 데이터 선택을 위한 의미론적 히ュ리스틱 기법(예: 클래스나 카테고리 기반 매칭)의 신뢰성, 특히 non-IID 환경에서의 성능을 평가하는 것.
• 의미론적 히ュ리스틱보다 우월한 정량적이고 특징 공간 기반의 비라벨 데이터 선택 기준을 개발하고 검증하는 것.
• 다양한 수준의 분포 이탈 상황에서 SSDL 알고리즘을 시험할 수 있는 종합적이고 재현 가능한 시뮬레이션 샌드박스, non-IID-SSDL를 제공하는 것.
• 심층 특징 공간에서의 단순한 이질성 측정법이 인간의 레이블 기반 의미론적 카테고리보다 비라벨 데이터 선택에서 더 강건한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 기본 내분포 데이터, OOD 데이터 유형, OOD 데이터 소스, OOD 데이터 비율, 라벨이 있는 샘플 수의 다섯 가지 자유도를 가진 유연한 시뮬레이션 샌드박스 non-IID-SSDL를 개발하였다.
• 다양한 데이터 분포 불일치 상황에서 평가하기 위해 최신 SSDL 알고리즘인 MixMatch를 주요 모델로 사용하였다.
• 사전에 훈련된 Wide-ResNet의 특징 공간에서 Minkowski 거리(ℓ₁ 및 ℓ₂), Jensen-Shannon 발산, 상관계수 기반 이질성 측정법을 기반으로 한 정량적 데이터 선택 기준을 제안하였다.
• 계산의 타당성을 확보하기 위해 데이터의 부분 집합에 대해 이질성 측정을 수행하고, Wilcoxon 부호 순위 검정을 통해 통계적 유의성을 검증하였다.
• 특징 분포를 서로 비교하여 정성적 분석을 수행하였으며, 각 설정에 대해 10회의 독립 실행을 실시하여 평균 정확도와 분산을 보고하였다.
• 모든 코드, 스크립트, 데이터를 공개된 GitHub 리포지토리에 배포하여 재현 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 라벨이 있는 데이터와 비라벨 데이터 간의 분포 이탈이 있을 때, 인간이 정의한 카테고리(예: '동물' 대비 '차량')를 기반으로 한 의미론적 매칭이 SSDL 성능을 안정적으로 향상시키는가?
• RQ2 최신 SSDL 모델인 MixMatch의 성능는 라벨이 있는 데이터와 비라벨 데이터 간의 분포 불일치 수준이 증가함에 따라 어떻게 저하되는가?
• RQ3 사전에 훈련된 분류기의 심층 특징 공간에서의 밀도 기반 이질성 측정법이 비라벨 데이터 선택에 있어 의미론적 매칭보다 더 신뢰할 수 있고 정량적인 대안이 될 수 있는가?
• RQ4 관측된 이질성 측정값은 다양한 데이터셋 구성과 실험 런에 걸쳐 통계적으로 유의미하고 일관된가?
• RQ5 비라벨 데이터 선택 기준으로 의미론적 기준과 특징 공간 기반 기준을 사용할 경우, non-IID 환경에서 최종 모델 정확도에 어떤 정도의 영향을 미치는가?

주요 결과

• 의미론적 매칭 히ュ리스틱은 MixMatch 성능을 떨어뜨릴 수 있다: 예를 들어, 라벨이 있는 데이터로 FashionMNIST를, 비라벨 데이터로 SVHN를 사용하고 OOD 데이터 비율이 100%일 경우, 의미론적 매칭을 사용하면 정확도가 0.540±0.105로 떨어지지만, 제안된 특징 공간 기반 방법을 사용하면 0.794±0.056로 향상된다.
• 제안된 특징 공간 이질성 측정법(예: ℓ₂ 거리)은 모든 데이터셋 조합에서 의미론적 매칭을 항상 초월했으며, 라벨이 있는 데이터와의 특징 공간 내 ℓ₂ 거리 기반으로 비라벨 데이터를 선택할 경우 최고의 정확도 0.794±0.056를 기록했다.
• 통계적 검정(Wilcoxon) 결과, 이질성 측정값은 의미가 있었으며 대부분의 비교에서 p값 < 0.05를 기록하여 관측된 특징 분포의 차이가 우연이 아님을 확인했다.
• 데이터셋 간 의미론적 유사성이 높은 경우(예: MNIST와 SVHN)에도 특징 공간 거리는 낮게 유지되었고, 예를 들어 dℓ₂ = 0.011±0.006로 나타나 의미론적 유사성이 항상 특징 공간의 가까움과 일치하지는 않음을 시사했다.
• 특징 공간 이질성 측정법은 모델 성능과 강한 상관관계를 보였으며, 낮은 거리는 일반적으로 높은 정확도를 의미하여 효과적인 데이터 선택을 위한 예측 능력을 지녔다.
• non-IID-SSDL 샌드박스 분석 결과, 성능 저하가 항상 단조롭지 않았다. 일부 OOD 데이터 소스는 특정 설정에서는 성능 향상을 가져다주기도 해, SSDL에서의 분포 이탈 문제의 복잡성을 반영했다.