[논문 리뷰] Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models

Siavash Khodadadeh, Sharare Zehtabian외 4명|arXiv (Cornell University)|2020. 06. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 사전 훈련된 생성 모델(VAE 및 GAN)의 잠재공간에서의 보간을 통해 합성 소수 분류 작업을 생성하는 비지도 메타학습 프레임워크인 LASIUM을 제안한다. 기존 샘플 근처에서 잠재벡터를 보간하여 내부 클래스 쌍을 생성하고, 거리가 먼 잠재코드를 통해 외부 클래스 쌍을 생성함으로써, Omniglot 및 CelebA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 도메인 특화된 튜닝을 최소화하고 감독 기반 기준에 근접한다.

ABSTRACT

Unsupervised meta-learning approaches rely on synthetic meta-tasks that are created using techniques such as random selection, clustering and/or augmentation. Unfortunately, clustering and augmentation are domain-dependent, and thus they require either manual tweaking or expensive learning. In this work, we describe an approach that generates meta-tasks using generative models. A critical component is a novel approach of sampling from the latent space that generates objects grouped into synthetic classes forming the training and validation data of a meta-task. We find that the proposed approach, LAtent Space Interpolation Unsupervised Meta-learning (LASIUM), outperforms or is competitive with current unsupervised learning baselines on few-shot classification tasks on the most widely used benchmark datasets. In addition, the approach promises to be applicable without manual tweaking over a wider range of domains than previous approaches.

연구 동기 및 목표

• 도메인 특화 클러스터링 또는 수동 튜닝이 필요한 수동 증강 기법에 의존하는 기존 비지도 메타학습 방법의 한계를 해결한다.
• 사전 훈련된 생성 모델을 활용해 일반화 가능하고 최소한의 맞춤 조정이 필요한 합성 메타작업 생성 방법을 개발한다.
• VAE 및 GAN의 잠재공간의 구조적 특성을 활용해 레이블이 없는 데이터로도 효과적인 소수 분류를 가능하게 한다.
• 잠재공간 보간이 메타학습을 위한 고품질의 내부 클래스 및 외부 클래스 쌍을 생성할 수 있음을 입증한다.
• 메타학습 중에 레이블이 없는 데이터를 요구하지 않고도 표준 소수 벤치마크에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 사전 훈련된 VAE 및 GAN(예: MSGAN 및 프로그레시브 GAN 포함)을 사용해 입력 데이터를 분리 가능한 잠재공간으로 인코딩한다.
• 두 개의 거리가 먼 잠재코드 사이에서 보간하여 내부 클래스 쌍을 생성하고, 한 쪽 끝점 근처에 있는 보간 지점을 선택해 유사한 새로운 샘플을 형성한다.
• 잠재공간 거리가 큰 샘플을 외부 클래스 쌍으로 정의하여, 동일한 클래스에 속할 가능성이 낮다는 것을 보장한다.
• 보간된 샘플을 그룹화해 합성 클래스를 구성하고, 거리가 먼 쌍을 상호 클래스 예시로 사용하여 메타작업을 구성한다.
• 메타학습 알고리즘(MAML 및 ProtoNets)을 합성 작업에 적용하며, 생성된 데이터를 지원세트와 쿼리세트 모두에 사용한다.
• 클래스 간 분離도와 내부 클래스 유사도를 제어하기 위해 잠재공간 거리 임계값 및 보간 비율 등의 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 생성 모델의 잠재공간 보간이 소수 메타학습을 위한 신뢰할 수 있는 내부 클래스 및 외부 클래스 쌍을 합리적으로 생성할 수 있는가?
• RQ2 CACTUS, UMTRA, AAL과 같은 기존 비지도 메타학습 기준선 대비 LASIUM의 성능은 표준 소수 벤치마크에서 어떻게 비교되는가?
• RQ3 증강 또는 클러스터링 전략의 수동 튜닝 없이 LASIUM은 얼마나 다양한 도메인에 일반화 가능한가?
• RQ4 LASIUM의 합성 작업 생성 방식이 무작위 샘플링 또는 클러스터링 기반 방법보다 소수 일반화 성능을 더 높게 만드는가?
• RQ5 LASIUM의 성능는 보간 비율 및 잠재공간 거리 임계값과 같은 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• Omniglot 데이터셋에서 LASIUM은 모든 비지도 메타학습 기준선을 압도하며, LASIUM-N 전략 하에서 GAN-MAML로 77.16%의 정확도, VAE-MAML로 75.02%의 정확도를 기록했다.
• CelebA 신원 인식에서 LASIUM은 GAN-MAML로 69.13%의 정확도를 기록했으며, CACTUS(66.91%)를 능가하고 감독 기반 성능(75.54%)에 근접했다.
• mini-ImageNet에서 5-way, 1-shot 학습 시 LASIUM-N-GAN-MAML는 65.17%의 정확도를 기록했으며, CACTUS 및 기타 비지도 방법을 능가했다.
• 절단 분석 결과, LASIUM-RO(무작위 오프셋) 및 LASIUM-OC(외부 클래스) 전략이 모든 데이터셋에서 일관된 성능을 보였으며, LASIUM-RO는 GAN-MAML로 Omniglot에서 77.62%의 정확도를 기록했다.
• 모든 벤치마크에서 전이학습보다 LASIUM이 유의미하게 뛰어난 성능을 보이며, 단순한 미세조정보다 합성 작업 생성의 가치를 입증했다.
• LASIUM은 잠재공간 거리 임계값 및 보간 비율과 같은 해석 가능한 하이퍼파라미터만을 사용해 최소한의 도메인 특화 튜닝으로도 경쟁 가능한 성능을 달성했다.