[논문 리뷰] Small Data Challenges in Big Data Era: A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods

Guo-Jun Qi, Jiebo Luo|arXiv (Cornell University)|2019. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 29

한 줄 요약

이 종합 논문은 빅데이터 시대의 소규모 데이터 문제를 해결하기 위해 최근의 비지도 및 준지도 표현 학습 기술의 발전을 검토한다. 변환 불변성, 분리된 표현, 자기지도 학습 등의 원리를 통합하여 생성 모델(오토에인코드어, GAN, 플로우 모델, 트랜스포머)에 적용함으로써 최소한의 레이블 데이터로도 일반화 성능을 향상시키며, 자기지도 정규화를 통해 최종 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

Representation learning with small labeled data have emerged in many problems, since the success of deep neural networks often relies on the availability of a huge amount of labeled data that is expensive to collect. To address it, many efforts have been made on training sophisticated models with few labeled data in an unsupervised and semi-supervised fashion. In this paper, we will review the recent progresses on these two major categories of methods. A wide spectrum of models will be categorized in a big picture, where we will show how they interplay with each other to motivate explorations of new ideas. We will review the principles of learning the transformation equivariant, disentangled, self-supervised and semi-supervised representations, all of which underpin the foundation of recent progresses. Many implementations of unsupervised and semi-supervised generative models have been developed on the basis of these criteria, greatly expanding the territory of existing autoencoders, generative adversarial nets (GANs) and other deep networks by exploring the distribution of unlabeled data for more powerful representations. We will discuss emerging topics by revealing the intrinsic connections between unsupervised and semi-supervised learning, and propose in future directions to bridge the algorithmic and theoretical gap between transformation equivariance for unsupervised learning and supervised invariance for supervised learning, and unify unsupervised pretraining and supervised finetuning. We will also provide a broader outlook of future directions to unify transformation and instance equivariances for representation learning, connect unsupervised and semi-supervised augmentations, and explore the role of the self-supervised regularization for many learning problems.

연구 동기 및 목표

• 풍부한 비라벨 데이터가 존재하는 상황에서도 레이블이 제한된 데이터로 딥 모델을 훈련시키는 과제를 해결하기 위해.
• 비지도 및 준지도 표현 학습 분야의 최근 발전을 체계적으로 분류하기 위해.
• 생성 모델 전반에 걸쳐 변환 불변성, 분리성, 자기지도 학습 등의 핵심 원리를 통합하기 위해.
• 비지도 학습과 준지도 학습 간의 연결 고리를 탐색하여 사전 훈련과 미세조정 간 격차를 줄이기 위해.
• 자기지도 정규화의 이론적 및 알고리즘적 통합을 향한 향후 방향을 제안하기 위해.

제안 방법

• 변환 불변성, 분리성 등의 원리에 기반해 비지도 및 준지도 방법을 분류하기 위해.
• 오토에인코드어, GAN, 플로우 기반 네트워크, 순차적 모델, 트랜스포머를 포함한 생성 모델을 검토하기 위해.
• 기울기 예측, 조각 맞추기, 인스턴스 변환 예측 등의 자기지도 손실을 준지도 학습에 정규화 요소로 통합하기 위해.
• 공유 표현 학습을 통해 소스 도메인과 타겟 도메인을 정렬함으로써 자기지도 정규화를 도메인 적응에 적용하기 위해.
• 표현 학습에서 변환 및 인스턴스 불변성의 통합 프레임워크를 제안하기 위해.
• 교사-학생 모델과 대비 학습을 활용해 작업 전용 레이블 없이도 특징 일반화를 향상시키기 위해.

실험 결과

연구 질문

• RQ1 어떻게 변환 불변성을 활용하여 비지도 표현 학습을 향상시킬 수 있는가?
• RQ2 분리된 표현 학습은 이해 가능성과 일반화 능력 향상에 어떤 역할을 하는가?
• RQ3 자기지도 손실은 어떻게 준지도 학습에서 지도 신호와 효과적으로 조합될 수 있는가?
• RQ4 자기지도 정규화 요소는 다양한 데이터 분포 간의 도메인 적응을 어떻게 향상시키는가?
• RQ5 비지도 사전 훈련과 지도 미세조정을 통합할 수 있는 이론적 및 알고리즘적 연결 고리는 무엇인가?

주요 결과

• 기울기 예측, 조각 맞추기 예측 등의 자기지도 손실은 준지도 학습에서 일반화 능력을 크게 향상시키며, 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.
• 자기지도 학습을 통해 학습된 변환 불변 표현은 레이블 데이터가 극히 적은 상황에서도 강건한 특징 학습을 가능하게 한다.
• GAN과 플로우 기반 네트워크와 같은 생성 모델은 자기지도 정규화를 통해 샘플의 다양성과 정확도를 향상시킨다.
• 자기지도 도메인 적응 방법은 타겟 도메인의 레이블이 필요 없이도 표현을 도메인 간에 정렬함으로써 도메인 간 격차를 줄인다.
• 지도 학습과 자기지도 정규화를 통합함으로써 대규모 애너테이션에 의존하는 것을 줄이면서도 높은 정확도를 유지할 수 있다.
• 미래의 방향으로 변환 및 인스턴스 불변성을 통합한 프레임워크를 제안하여 다양한 작업에서 강건성과 일반화 능력을 향상시키고자 한다.