[논문 리뷰] Recent Deep Semi-supervised Learning Approaches and Related Works

Gyeongho Kim|arXiv (Cornell University)|2021. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 5

한 줄 요약

이 논문은 최근의 딥 세미서파이드드 러닝 방법에 대한 종합적인 서베이를 제공하며, 엔트로피 정규화, 일致성 정규화, 그리고 세프트레인닝을 통해 비라벨 데이터를 활용하는 기법들에 초점을 맞춘다. 믹스매치, 리믹스매치, 픽스매치와 같은 통합적 프레임워크들이 다수의 원리를 통합하여, 라벨이 적은 환경에서도 완전히 감독된 모델을 초월하는 최고 성능을 달성하고 있음을 강조한다.

ABSTRACT

This work proposes an overview of the recent semi-supervised learning approaches and related works. Despite the remarkable success of neural networks in various applications, there exist a few formidable constraints, including the need for a large amount of labeled data. Therefore, semi-supervised learning, which is a learning scheme in which scarce labels and a larger amount of unlabeled data are utilized to train models (e.g., deep neural networks), is getting more important. Based on the key assumptions of semi-supervised learning, which are the manifold assumption, cluster assumption, and continuity assumption, the work reviews the recent semi-supervised learning approaches. In particular, the methods in regard to using deep neural networks in a semi-supervised learning setting are primarily discussed. In addition, the existing works are first classified based on the underlying idea and explained, then the holistic approaches that unify the aforementioned ideas are detailed.

연구 동기 및 목표

• 최근의 딥 세미서파이드드 러닝 접근법과 그 기초 원리에 대한 체계적인 개요 제공.
• 엔트로피 최소화, 일치성 정규화, 세프트레인닝과 같은 핵심 아이디어를 기반으로 기존 방법들을 분류하고 통합적 추세를 파악.
• 다양한 세미서파이드드 기법들을 하나의 효과적인 학습 프레임워크로 통합한 통합적 프레임워크 분석.
• 특히 라벨이 적은 설정과 외부 분포 데이터 존재 하에서의 성능 및 강건성 평가.
• 세미서파이드드 환경 내에서 표현 학습을 향상시키는 데 있어 자기지도 학습의 상호보완적 역할 강조.

제안 방법

• 논문은 대부분의 현대적 접근법을 뒷받침하는 기본 가정인 다양체, 연속성, 클러스터 가정에 기반해 세미서파이드드 러닝 방법을 분류한다.
• 엔트로피 정규화의 세부 사항을 설명하며, 비라벨 데이터에 대한 모델 예측이 엔트로피를 최소화하도록 최적화되어, 확신 있는 일관된 예측을 유도함을 설명한다.
• 가짜 라벨링 방법을 설명하며, 비라벨 데이터에 대한 가장 가능성 높은 예측 클래스가 학습 중 가짜 라벨로 사용됨을 기술한다.
• 일치성 정규화를 논의하며, 동일한 입력에 대한 다양한 증강 처리 결과에 대해 모델의 출력이 일관되도록 강제하는 방식을 설명한다.
• 믹스매치, 리믹스매치, 픽스매치와 같은 통합적 프레임워크를 분석하며, 데이터 증강, 믹스업, 온도 스케일링, 분포 정렬을 통합한 방식을 기술한다.
• 라벨 데이터에 대한 피니튜닝 이전에 특징 표현을 향상시키기 위해 자기지도 사전학습 및 디스틸레이션 단계에서 자기지도 사전과제를 강조한다.

실험 결과

연구 질문

• RQ1 다양체, 연속성, 클러스터 가정은 현대의 딥 세미서파이드드 러닝 방법 설계에 어떻게 기여하는가?
• RQ2 라벨 데이터가 부족할 경우 엔트로피 최소화와 가짜 라벨링이 모델 일반화에 얼마나 기여하는가?
• RQ3 리믹스매치와 픽스매치와 같은 통합 프레임워크는 다수의 정규화 전략을 통합함으로써 개별 기법보다 어떻게 우월한 성능을 내는가?
• RQ4 자기지도 사전학습은 세미서파이드드 러닝 모델의 성능 향상에 어떤 역할을 하는가?
• RQ5 세미서파이드드 모델은 비라벨 데이터의 분포 이탈에 얼마나 민감한가? 이는 실세계 적용에 어떤 영향을 미치는가?

주요 결과

• 리믹스매치와 픽스매치와 같은 통합적 접근 방식은 CIFAR-10과 같은 벤치마크 데이터셋에서 최고 성능을 기록하며, 라벨 데이터가 제한된 상황에서 완전히 감독된 모델를 초월하는 경우가 많다.
• 리믹스매치에서 분포 정렬과 증강 앵커링을 통합함으로써 라벨과 비라벨 데이터의 분포를 정렬하여 예측의 일관성과 일반화 능력이 크게 향상됨을 확인하였다.
• 픽스매치는 고신뢰도 임계값을 사용해 가짜 라벨를 선택하고, 동일한 입력의 약한 증강 및 강한 증강 버전 간의 일관성을 강제함으로써 뛰어난 성능을 달성한다.
• 자기지도 사전학습 후 세미서파이드드 환경에서의 자기디스틸레이션을 통해 더 풍부한 특징 표현이 가능하며, 이는 일치성 및 엔트로피 정규화와 결합될 경우 尤히 효과적이다.
• 강력한 성능에도 불구하고, 비라벨 데이터가 외부 분포에 속할 경우 세미서파이드드 러닝 방법의 성능이 크게 떨어지며, 이는 라벨과 비라벨 데이터 세트 간의 동일한 분포 가정이 핵심임을 시사한다.
• 자기지도 학습과 세미서파이드드 기법의 조합은 뛰어난 성능을 내며, 이는 두 가지 접근 방식이 상호보완적이고 상호보완적인 관계에 있음을 입증한다.