[논문 리뷰] RealMix: Towards Realistic Semi-Supervised Deep Learning Algorithms

Varun Nair, Javier Alonso외 1명|arXiv (Cornell University)|2019. 12. 18.

Advanced Neural Network Applications참고 문헌 15인용 수 12

한 줄 요약

RealMix는 레이블된 데이터와 레이블이 없는 데이터 간의 분포 차이가 있는 상황에서도 성능을 향상시키기 위해 MixUp, 일致성 훈련, 엔트로피 최소화 및 분포 외(OOD) 마스킹을 결합한 새로운 준지도 학습 알고리즘을 제안한다. CIFAR10에서 레이블이 250개 뿐이어도 9.79%의 최고 성능 오차율을 기록하며, 레이블과 레이블이 없는 데이터 간에 완전한 분포 불일치가 발생하는 상황에서도 감독 학습 기반선 성능을 유지하거나 초월하는 유일한 SSL 방법이다.

ABSTRACT

Semi-Supervised Learning (SSL) algorithms have shown great potential in training regimes when access to labeled data is scarce but access to unlabeled data is plentiful. However, our experiments illustrate several shortcomings that prior SSL algorithms suffer from. In particular, poor performance when unlabeled and labeled data distributions differ. To address these observations, we develop RealMix, which achieves state-of-the-art results on standard benchmark datasets across different labeled and unlabeled set sizes while overcoming the aforementioned challenges. Notably, RealMix achieves an error rate of 9.79% on CIFAR10 with 250 labels and is the only SSL method tested able to surpass baseline performance when there is significant mismatch in the labeled and unlabeled data distributions. RealMix demonstrates how SSL can be used in real world situations with limited access to both data and compute and guides further research in SSL with practical applicability in mind.

연구 동기 및 목표

• 기존의 SSL 방법들이 레이블된 데이터와 레이블이 없는 데이터의 분포가 다를 경우 성능이 급격히 떨어지는 데 대한 핵심적 한계를 해결하기 위해.
• 제한된 레이블 데이터와 노이즈가 많고 분포가 맞지 않는 레이블이 없는 데이터를 가진 실세계 환경에서도 적용 가능한 실용적인 SSL 알고리즘을 개발하기 위해.
• 성공적인 SSL 기법들인 MixUp, 일치성 훈련, 엔트로피 최소화를 하나의 강력한 프레임워크로 통합하기 위해.
• 준지도 학습이 극단적인 분포 변화 조건에서도 효과적으로 작동할 수 있고, 전이 학습을 초월할 수 있음을 입증하기 위해.
• 향후 실용적 준지도 학습 응용 분야의 연구를 가속화하기 위해 오픈소스 코드를 제공하기 위해.

제안 방법

• RealMix는 가속화된 파라미터 θ를 가진 딥 네ural 네트워크를 사용하여 감독 학습 및 비감독 학습 손실을 동시에 최적화한다.
• 각 레이블이 없는 샘플에 대해 다양성을 확보하기 위해 CutOut을 사용하는 확률적 데이터 증강(Extend(x))을 적용하여 총 50개의 증강 복제본을 생성한다.
• 훈련 중에 레이블된 샘플과 증강된 레이블이 없는 샘플 간에 선형으로 보간하기 위해 베타 분포(α)를 사용하는 MixUp을 적용한다.
• 입력의 변형에 대한 모델의 강건성을 확보하기 위해 두 번째 증강 함수(Augment(x))를 활용해 일치성 훈련을 구현한다.
• 새로운 분포 외(OOD) 마스킹 메커니즘이 낮은 신뢰도 예측을 임계값 γ를 기준으로 동적으로 필터링하여 분포가 맞지 않는 레이블이 없는 데이터에서 오는 노이즈를 줄인다.
• 훈련 신호 감쇠(TSA)를 감독 학습 손실에 적용하여 훈련 에포크가 진행됨에 따라 그 영향력을 점차 증가시킨다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터의 분포가 레이블된 데이터의 분포와 크게 다를 경우 준지도 학습 방법이 성능을 유지할 수 있는가?
• RQ2 MixUp, 일치성 훈련, 엔트로피 최소화를 결합하면 실세계 데이터 환경에서의 강건성과 일반화 성능이 향상되는가?
• RQ3 특히 분포 변화가 발생할 경우, 제한된 레이블 데이터로 미세조정된 전이 학습보다 RealMix가 성능을 뛰어넘을 수 있는가?
• RQ4 RealMix의 성능 향상에 있어 어떤 구성 요소가 분포 변화 조건에서 가장 핵심적인가?
• RQ5 전이 학습은 RealMix와 상호보완적인가? 그리고 두 방법의 조합이 오차율을 추가로 감소시킬 수 있는가?

주요 결과

• RealMix는 레이블이 250개뿐인 CIFAR10에서 9.79%의 최고 성능 오차율을 기록하여 이전의 SSL 방법들을 크게 능가한다.
• 레이블된 데이터와 레이블이 없는 데이터 간에 75%의 분포 불일치가 발생하는 상황에서도, RealMix는 감독 기반선(20.32% 오차율)을 유지하거나 초월하는 유일한 SSL 방법이다.
• ImageNet(ILSVRC-2012)에서 사전 훈련된 전이 학습 모델과 결합했을 때, CIFAR10에서 레이블이 250개일 경우 오차율을 8.48%로 낮춰 새로운 최고 성능을 달성했다.
• 제거 실험 결과, OOD 마스킹이 필수적임을 확인했다. OOD 마스킹이 없을 경우 분포 변화 조건에서 오차율이 22.70%로 증가하지만, OOD 마스킹이 있으면 RealMix는 성능을 유지한다.
• CutOut과 같은 강력한 증강 기법과 1개 샘플당 50개의 증강 복제본을 사용할 경우, 간단한 증강 기법이나 적은 수의 복제본보다 성능 향상이 뚜렷하다.
• RealMix는 MixMatch와 전이 학습만을 사용한 경우보다 성능이 뛰어나며, 저자료 환경에서 전이 학습과 SSL이 상호보완적임을 입증했다.