[논문 리뷰] Learning from Small Data Through Sampling an Implicit Conditional Generative Latent Optimization Model.

Idan Azuri, Daphna Weinshall|arXiv (Cornell University)|2020. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 2

한 줄 요약

이 논문은 소수의 레이블된 예제(클래스당 5~10개)만으로도 레이블되지 않은 데이터가 필요 없이 다양하고 새로운 이미지를 합성할 수 있도록 학습하는 조건부 생성 잠재 최적화 모델인 GLICO를 제안한다. 구체적으로, 학습된 잠재 공간에서 구면 보간을 통해 샘플링하고, 훈련된 생성기로 새로운 샘플을 생성함으로써, CIFAR-10, CIFAR-100, CUB-200와 같은 소수 데이터 벤치마크에서 이미지 분류 성능을 향상시킨다. 이는 최신 기법들을 초월한다.

ABSTRACT

We revisit the long-standing problem of learning from a small sample, to which end we propose a novel method called GLICO (Generative Latent Implicit Conditional Optimization). GLICO learns a mapping from the training examples to a latent space and a generator that generates images from vectors in the latent space. Unlike most recent works, which rely on access to large amounts of unlabeled data, GLICO does not require access to any additional data other than the small set of labeled points. In fact, GLICO learns to synthesize completely new samples for every class using as little as 5 or 10 examples per class, with as few as 10 such classes without imposing any prior. GLICO is then used to augment the small training set while training a classifier on the small sample. To this end, our proposed method samples the learned latent space using spherical interpolation, and generates new examples using the trained generator. Empirical results show that the new sampled set is diverse enough, leading to improvement in image classification in comparison with the state of the art, when trained on small samples obtained from CIFAR-10, CIFAR-100, and CUB-200.

연구 동기 및 목표

• 클래스당 소수의 레이블된 예제만 존재할 때 강력한 분류기 학습의 과제를 해결하기 위해.
• 외부 레이블되지 않은 데이터에 의존하지 않고도 현실적이고 다양한 샘플을 생성하는 방법을 개발하기 위해.
• 클래스당 소수의 레이블된 예제만을 사용하여 저샷 러닝 환경에서 효과적인 데이터 증강을 가능하게 하기 위해.
• 데이터에서 분리된 잠재 공간으로의 조건부 매핑을 학습하는 생성 모델을 설계하여 효율적인 샘플 합성하기 위해.
• 극도로 자원이 부족한 상황에서 CIFAR-10, CIFAR-100, CUB-200와 같은 표준 벤치마크에서 분류 정확도를 향상시키기 위해.

제안 방법

• GLICO는 조건부 생성 모델을 사용하여 입력 데이터에서 잠재 공간으로의 매핑을 학습함으로써 분리된 표현 학습을 가능하게 한다.
• 모델은 클래스 레이블에 조건부로 설정된 생성기를 사용하여 잠재 벡터에서 이미지를 생성하도록 훈련한다.
• 기존의 잠재 벡터들 사이를 보간하는 데 구면 보간을 적용하여 새로운 다양성을 가진 잠재 벡터를 샘플링한다.
• 이 보간된 잠재 벡터들은 훈련된 생성기를 통해 디코딩되어 새로운 훈련 샘플이 합성된다.
• 합성된 샘플들은 분류기 훈련 중 원래의 소수 훈련 세트를 증강하는 데 사용된다.
• 이 방법은 레이블되지 않은 데이터에 접근하지 않으며, 훈련과 생성 모두 소수의 레이블된 세트에만 의존한다.

실험 결과

연구 질문

• RQ1 외부 데이터 없이 클래스당 5~10개의 레이블된 예제만으로도 생성 모델이 효과적으로 다양하고 현실적인 샘플을 합성할 수 있는가?
• RQ2 잠재 공간에서의 구면 보간을 통해 저샷 러닝 환경에서의 데이터 증강이 어떻게 향상되는가?
• RQ3 GLICO는 소수 데이터 벤치마크에서 최신 기법들과 비교해 분류 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 훈련 중에 레이블되지 않은 데이터가 없을 경우 분류기의 일반화 능력이 제한되는가, 아니면 향상되는가?
• RQ5 합성된 샘플의 다양성은 후속 분류 성능와 어떤 관련이 있는가?

주요 결과

• GLICO는 클래스당 5~10개의 레이블된 예제만으로도 CIFAR-10, CIFAR-100, CUB-200에서 최신 기법을 초월하는 성능을 달성한다.
• 잠재 공간 보간을 통한 다양하고 현실적인 샘플 생성으로 인해 이미지 분류 정확도가 크게 향상된다.
• 레이블되지 않은 데이터가 훈련 중에 존재하지 않아도 성능에 영향을 주지 않으며, 오히려 분포 편향을 피함으로써 일반화 능력을 향상시킨다.
• 잠재 공간에서의 구면 보간은 의미적으로 일관된 보간을 생성하여 고품질의 샘플 생성을 이끈다.
• GLICO가 생성한 증강된 훈련 세트는 기존의 기준 데이터 증강 기법보다 더 강력한 분류기를 도출한다.
• 실증 결과는 합성된 샘플이 다양하고 저자원 환경에서 일반화 능력을 향상시키는 데 효과적이라는 것을 확인한다.