[논문 리뷰] Meta-Semi: A Meta-learning Approach for Semi-supervised Learning

Yulin Wang, Jiayi Guo외 2명|arXiv (Cornell University)|2020. 07. 05.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

Meta-Semi는 라벨된 데이터의 감독 손실을 최소화하기 위해 소프트 편가속 레이블을 사용해 비라벨 데이터 샘플을 동적으로 재가중하는 메타학습 접근법을 제안한다. 이는 추가로 조정이 필요한 하이퍼파rameter가 오직 하나뿐인 반면, CIFAR-100과 STL-10에서 최신 기준 성능을 달성하며, 하이퍼파ram터 설정에 대해 강건하고, 약한 조건 하에서 정적 점으로 수렴함을 보여준다.

ABSTRACT

Deep learning based semi-supervised learning (SSL) algorithms have led to promising results in recent years. However, they tend to introduce multiple tunable hyper-parameters, making them less practical in real SSL scenarios where the labeled data is scarce for extensive hyper-parameter search. In this paper, we propose a novel meta-learning based SSL algorithm (Meta-Semi) that requires tuning only one additional hyper-parameter, compared with a standard supervised deep learning algorithm, to achieve competitive performance under various conditions of SSL. We start by defining a meta optimization problem that minimizes the loss on labeled data through dynamically reweighting the loss on unlabeled samples, which are associated with soft pseudo labels during training. As the meta problem is computationally intensive to solve directly, we propose an efficient algorithm to dynamically obtain the approximate solutions. We show theoretically that Meta-Semi converges to the stationary point of the loss function on labeled data under mild conditions. Empirically, Meta-Semi outperforms state-of-the-art SSL algorithms significantly on the challenging semi-supervised CIFAR-100 and STL-10 tasks, and achieves competitive performance on CIFAR-10 and SVHN.

연구 동기 및 목표

• 기존의 일致성 기반 반감독 학습(SSL) 방법에서의 하이퍼파ram터 민감도와 높은 계산 비용 문제를 해결하기 위해.
• 라벨된 데이터와 비라벨된 데이터 간의 관계를 명시적으로 모델링하여, 딥 SSL에서 라벨된 데이터의 활용 효율성을 향상시키기 위해.
• SSL 알고리즘에서 조정 가능한 하이퍼파rameter의 수를 줄여, 라벨 데이터가 극히 적은 실세계 환경에서의 적용 가능성을 높이기 위해.
• 라벨된 손실에 대한 영향을 기반으로 비라벨 샘플을 동적으로 재가중하는 이론적으로 타당하고 수렴 가능한 방법을 개발하기 위해.

제안 방법

• 라벨된 손실을 최소화하기 위해 비라벨 샘플에 대한 가중치를 소프트 편가속 레이블을 사용해 동적으로 조정하는 이중 수준 메타최적화 문제를 수립한다.
• 반복마다 한 번의 메타기울기 단계를 사용해 근사 최적의 재가중 계수를 효율적으로 계산하는 근사 방법을 제안한다.
• 근사 해를 기반으로 비라벨 샘플에 대한 동적 0-1 가중치 전략을 도입하여 실용적인 구현을 가능하게 한다.
• 메타업데이트 단계에 대해 닫힌 형태의 해를 활용해, 이중 구조임에도 불구하고 계산 효율성을 확보한다.
• 일반적인 SSL 구성 요소인 MixUp과 EMA를 통합하여 일반화 성능을 향상시키며, 하이퍼파rameter 조정 수를 최소화한다.
• 이론적 분석을 통해 약한 조건 하에서 감독 손실 함수의 정적 점으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 메타학습 프레임워크는 반감독 학습에서 요구되는 하이퍼파rameter 수를 줄일 수 있을까, 동시에 성능을 유지하거나 향상시킬 수 있을까?
• RQ2 학습 중에 비라벨 데이터를 어떻게 재가중할 수 있을까? 이를 통해 라벨된 데이터의 손실를 최소화하고 일반화 성능을 향상시킬 수 있을까?
• RQ3 동적으로 재가중된 편가속 레이블링 전략은 균일하거나 고정된 가중치보다 빠른 수렴 속도와 더 높은 성능을 낼 수 있을까?
• RQ4 특히 데이터가 적은 상황에서, 단일 조정 가능한 하이퍼파rameter의 변화에 대해 제안된 방법이 강건한가?
• RQ5 Meta-Semi는 기존의 일치 기반 SSL 기법(예: ICT 또는 MixMatch)과 효과적으로 통합될 수 있는가?

주요 결과

• Meta-Semi는 도전적인 CIFAR-100 및 STL-10 벤치마크에서 최신 기준 성능을 달성하며, 각각 10,000개와 4,000개의 라벨된 샘플을 사용할 때 테스트 오차율이 30.51%와 37.12%를 기록한다.
• CIFAR-10에서 Meta-Semi는 4,000개의 라벨을 사용할 때 테스트 오차율 3.86%를 기록하며, 이는 이전 최신 기준 방법들을 초월한다.
• 하이퍼파ram터 설정에 대해 강건하며, 단일 조정 가능한 하이퍼파ram터의 다양한 값에 대해 성능 저하가 최소한이다.
• 적응 분석 결과, 비라벨 데이터에 대한 파ram터 EMA와 MixUp이 높은 성능을 내기 위해 필수적임을 확인하였으며, 일정한 가중치(w=1) 설정은 Meta-Semi를 표준 일치 방법으로 환원시킨다.
• Meta-Semi + ICT는 성능을 추가로 향상시켜, 존재하는 일치 기반 기법과의 상호보완성을 보여준다.
• 이중 최적화로 인해 반복당 비용이 높지만, 고정된 학습 시간 예산 내에서 기준 모델보다 더 빠르게 수렴하고 더 높은 성능을 달성한다.