[논문 리뷰] EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations

Xiao Wang, Daisuke Kihara외 2명|arXiv (Cornell University)|2019. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 15

한 줄 요약

EnAET는 공간적 및 비공간적 변환의 앙상블을 통합하여 자기학습 표현을 통합함으로써, 준감독 및 감독 학습을 모두 향상시키는 자기학습 프레임워크를 제안한다. 자동에코 변환을 적용하고 다양한 증강된 시각 간의 KL 발산을 최소화함으로써 EnAET는 일반화 능력을 크게 향상시키고 오차율을 감소시킨다. 이는 최소한의 레이블로도 최신 기술 수준(SOTA) 성능을 달성하며, CIFAR-10에서 레이블 250개로 7.6%의 오차율을 기록한다.

ABSTRACT

Deep neural networks have been successfully applied to many real-world applications. However, such successes rely heavily on large amounts of labeled data that is expensive to obtain. Recently, many methods for semi-supervised learning have been proposed and achieved excellent performance. In this study, we propose a new EnAET framework to further improve existing semi-supervised methods with self-supervised information. To our best knowledge, all current semi-supervised methods improve performance with prediction consistency and confidence ideas. We are the first to explore the role of {\bf self-supervised} representations in {\bf semi-supervised} learning under a rich family of transformations. Consequently, our framework can integrate the self-supervised information as a regularization term to further improve {\it all} current semi-supervised methods. In the experiments, we use MixMatch, which is the current state-of-the-art method on semi-supervised learning, as a baseline to test the proposed EnAET framework. Across different datasets, we adopt the same hyper-parameters, which greatly improves the generalization ability of the EnAET framework. Experiment results on different datasets demonstrate that the proposed EnAET framework greatly improves the performance of current semi-supervised algorithms. Moreover, this framework can also improve {\bf supervised learning} by a large margin, including the extremely challenging scenarios with only 10 images per class. The code and experiment records are available in \url{https://github.com/maple-research-lab/EnAET}.

연구 동기 및 목표

• 데이터 변환을 통한 자기학습 표현을 활용하여 딥러닝에서 레이블이 제한된 문제를 해결하는 것.
• 기존의 일致성 및 신뢰도 기반 방법을 초월하여 자기학습 신호를 통합함으로써 준감독 학습 성능을 향상시키는 것.
• 최소한의 하이퍼파라미터 튜닝으로도 준감독 및 완전한 감독 학습을 모두 향상시킬 수 있는 일반화 가능한 프레임워크를 개발하는 것.
• 다양한 변환에서 유도된 자기학습 표현이 일반화 능력을 향상시키기 위해 효과적인 정규화로 기능할 수 있음을 입증하는 것.
• 다양한 변환 유형과 손실 구성 요소가 모델 성능에 미치는 영향을 분석하기 위해 분석 연구(Ablation studies)를 수행하는 것.

제안 방법

• EnAET는 레이블이 있는 데이터와 없는 데이터 양쪽에 대해 공간적 및 비공간적 변환(예: 투사, 애프린, 유사성, 유클리드, CCBS)의 앙상블을 활용하여 증강한다.
• 프레임워크는 변환된 입력을 재구성하는 자동에코 변환을 사용하여 데이터 증강에 대해 불변인 강력한 표현을 학습한다.
• 동일한 입력에 대해 다양한 변환을 적용한 예측 간의 KL 발산을 최소화함으로써 일致성 손실를 적용한다.
• 대조 학습(CL) 손실을 사용하여 동일한 이미지의 서로 다른 시각의 특징을 정렬함으로써 표현 품질을 향상시킨다.
• 자기에코 변환(AET) 손실은 변환된 입력을 재구성하도록 모델을 정규화하여 데이터 변동에 대한 강건성을 증진시킨다.
• 프레임워크는 모듈식이며, MixMatch와 같은 기존 준감독 학습 방법과 쉽게 통합되어 플러그인 정규화 구성 요소로 활용될 수 있다.

실험 결과

연구 질문

• RQ1 다양한 데이터 변환에서 유도된 자기학습 표현이 기존의 일치성 및 신뢰도 기반 방법을 초월하여 준감독 학습 성능을 향상시킬 수 있는가?
• RQ2 다양한 변환 유형의 앙상블이 개별 변환을 사용할 때보다 모델의 일반화 능력과 강건성 측면에서 어떻게 비교되는가?
• RQ3 자기학습 학습 구성 요소가 준감독 및 완전한 감독 설정에서 효과적인 정규화로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 프레임워크는 최소한의 하이퍼파라미터 튜닝으로도 다양한 데이터셋에서 높은 성능을 유지하는가? 이는 높은 일반화 능력을 시사하는가?
• RQ5 각 구성 요소(예: CL 손실, AET 손실, 변환 앙상블)가 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• EnAET는 레이블 250개로 CIFAR-10에서 오차율을 7.6%로 줄였으며, MixMatch 기준선(11.08%) 대비 3.48% 향상되었다.
• 레이블 50개로도 EnAET는 16.45%의 오차율을 기록했으며, 이는 1,000개 레이블로 훈련된 대부분의 이전 방법을 뛰어넘었다.
• SVHN에서는 레이블 100개로 16.92%의 오차율을 기록했으며, 1,000개 레이블로 훈련된 많은 방법들을 능가했다.
• STL-10에서는 모든 10,000개 레이블을 사용해 4.52%의 오차율을 기록하며 신기록을 수립했으며, MixMatch 기준선 대비 크게 향상되었다.
• 감독 학습에서는 ProxylessNAS보다 더 단순한 Wide ResNet-28-2 아키텍처로도 CIFAR-10에서 최신 기술 수준(SOTA) 성능을 달성했다.
• 분석 연구 결과, 변환 앙상블과 AET 손실이 가장 핵심적인 구성 요소로 확인되었으며, 특히 AET 손실이 성능 향상에 가장 큰 기여를 했다.