[논문 리뷰] Semi-Supervised Learning by Augmented Distribution Alignment

Qin Wang, Wen Li외 1명|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 7

한 줄 요약

이 논문은 적은 수의 레이블이 있는 데이터와 많은 수의 레이블이 없는 데이터 간의 경험적 분포 불일치를 제거하기 위해 적대적 특징 정렬과 크로스셋 데이터 보간을 통해 수행되는 반감성 학습 방법인 보완 분포 정합(ADA-Net)을 제안한다. 잠재 분포를 정합하고 가짜 샘플을 생성함으로써, ADA-Net은 최소한의 아키텍처 변경으로 CIFAR10(8.72% 오차)과 SVHN(3.54% 오차)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a simple yet effective semi-supervised learning approach called Augmented Distribution Alignment. We reveal that an essential sampling bias exists in semi-supervised learning due to the limited number of labeled samples, which often leads to a considerable empirical distribution mismatch between labeled data and unlabeled data. To this end, we propose to align the empirical distributions of labeled and unlabeled data to alleviate the bias. On one hand, we adopt an adversarial training strategy to minimize the distribution distance between labeled and unlabeled data as inspired by domain adaptation works. On the other hand, to deal with the small sample size issue of labeled data, we also propose a simple interpolation strategy to generate pseudo training samples. Those two strategies can be easily implemented into existing deep neural networks. We demonstrate the effectiveness of our proposed approach on the benchmark SVHN and CIFAR10 datasets. Our code is available at \url{https://github.com/qinenergy/adanet}.

연구 동기 및 목표

• 반감성 학습에서 제한된 레이블이 있는 데이터와 풍부한 레이블이 없는 데이터 간의 경험적 분포 불일치 문제에 주목하지 못하는 문제를 해결하기 위해.
• 잠재 공간에서 레이블이 있는 데이터와 레이블이 없는 데이터의 경험적 분포를 정합함으로써 모델의 일반화 성능을 향상시키기 위해.
• 새로운 보간 기반 데이터 증강 전략을 통해 레이블이 있는 데이터의 작은 표본 크기 문제를 완화하기 위해.
• 기존 딥 네트워크에 쉽게 통합할 수 있는 단순하고 즉시 사용 가능한 방법을 개발하기 위해.

제안 방법

• 도메인 적응에서 영감을 얻어, 잠재 공간에서 레이블이 있는 데이터와 레이블이 없는 데이터의 특징 간의 분포 거리를 최소화하기 위해 적대적 훈련을 사용한다.
• 분포 정합 목표의 엔드 투 엔드 훈련을 가능하게 하기 위해 기울기 반전 층을 활용한다.
• 입력 공간에서 레이블이 있는 데이터 포인트와 레이블이 없는 데이터 포인트 사이를 보간하여 가짜 샘플을 생성함으로써 분포 커버리지를 향상시킨다.
• 보간 기반 증강 전략은 다양성을 증가시키고 희소한 레이블이 있는 데이터로 인한 분포 간 격차를 메우는 데 기여한다.
• 표준 딥 네트워크에 최소한의 수정을 가하여 구현함으로써 기존의 SSL 프레임워크에 쉽게 통합할 수 있도록 한다.
• 분포 정합과 데이터 증강을 통합된 훈련 목표로 조합함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블이 있는 데이터와 레이블이 없는 데이터 간의 경험적 분포 불일치가 반감성 학습 성능에 어떤 영향을 미치는가?
• RQ2 적대적 특징 정합이 반감성 학습에서 분포 불일치를 효과적으로 줄일 수 있는가?
• RQ3 레이블이 있는 데이터가 부족할 경우 크로스셋 보간이 모델의 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 일致성 정규화나 자기훈련과 같은 기존의 SSL 기법과 상호보완적인가?
• RQ5 분포 정합과 데이터 증강의 조합이 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• ADA-Net은 레이블이 10%뿐인 CIFAR10에서 8.72%의 새로운 최신 기술 수준의 테스트 오차율을 달성한다.
• SVHN에서는 VAT+Ent와 조합했을 때 3.54%의 오차율을 기록하여 새로운 최신 기술 수준의 결과를 달성한다.
• SVHN에서 커널 밀도 추정 비교를 통해 경험적 분포 불일치가 크게 감소한 것으로 확인되었다.
• ADA-Net은 레이블 수가 적은 환경에서도 성능 향상을 보이며, 레이블 부족에 대한 강건성을 입증한다.
• VAT+Ent와 조합했을 때, CIFAR10에서 10.09%의 오차율을 기록하여 베이스라인 성능을 초월한다.
• ImageNet에서 레이블이 10%일 경우, ADA-Net은 44.91%의 탑-1 오차율을 기록하여 Mean Teacher와 Dual-View Deep Co-Training를 모두 능가한다.