[논문 리뷰] Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation

Antreas Antoniou, Amos Storkey|arXiv (Cornell University)|2019. 02. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 36

한 줄 요약

AAL를 도입하는 무감독 방법으로, 비라벨링 데이터에서 임의의 라벨을 부분집합에 할당하고 데이터 증강을 통해 타깃 세트를 만들어 소수 샷 작업을 생성합니다; 표준 메타러닝 프레임워크와 함께 미세 조정 없이도 소수 샷 작업에서 좋은 성능을 발휘할 수 있습니다.

ABSTRACT

The field of few-shot learning has been laboriously explored in the supervised setting, where per-class labels are available. On the other hand, the unsupervised few-shot learning setting, where no labels of any kind are required, has seen little investigation. We propose a method, named Assume, Augment and Learn or AAL, for generating few-shot tasks using unlabeled data. We randomly label a random subset of images from an unlabeled dataset to generate a support set. Then by applying data augmentation on the support set's images, and reusing the support set's labels, we obtain a target set. The resulting few-shot tasks can be used to train any standard meta-learning framework. Once trained, such a model, can be directly applied on small real-labeled datasets without any changes or fine-tuning required. In our experiments, the learned models achieve good generalization performance in a variety of established few-shot learning tasks on Omniglot and Mini-Imagenet.

연구 동기 및 목표

• 레이블이 전혀 없는 상태에서의 무감독 소수 샷 학습을 고무한다.
• 레이블이 없는 데이터로부터 서포트 세트와 타깃 세트를 생성하는 태스크 생성 전략을 제안한다.
• 기존의 메타러닝 프레임워크가 이러한 무감독 태스크에서 미세 조정 없이 학습하도록 한다.
• 일반화 능력을 평가하기 위해 표준 소수 샷 벤치마크에서 접근법을 평가한다.
• 실제 라벨링 데이터로의 전달력을 극대화하기 위한 데이터 증강 전략을 조사한다.

제안 방법

• 무작위로 샘플링한 비라벨링 데이터 포인트에 임의의 라벨을 할당하여 서포트 세트를 생성한다.
• 레이블을 고정한 채 서포트 세트에 데이터 증강을 적용하여 대응하는 타깃 세트를 생성한다.
• 생성된 무감독 태스크에서 표준 메타러닝 모델(MAML 및 Prototypical Networks)을 학습시킨다.
• 미세 조정 없이 실제 라벨이 있는 소수 샷 태스크에서 학습된 모델을 평가한다.
• 다양한 데이터 증강 기술을 탐색하고 해부 실험(ablate)을 통해 타깃 세트에 대한 효과적인 증강을 결정한다.
• 안정성과 일반화를 개선하기 위해 MAML++ 프레임워크 내에서 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터로부터의 무감독 태스크 생성이 라벨 없이도 효과적인 소수 샷 메타러닝을 가능하게 하는가?
• RQ2 학습된 표현이 실제 라벨이 있는 소수 샷 태스크로 가장 잘 전달되도록 하는 데이터 증강 전략은 무엇인가?
• RQ3 무감독 AAL 접근법이 MAML 및 Prototypical Networks와 결합될 때 어떤 성능을 보이는가?
• RQ4 Omniglot 및 Mini-Imagenet 벤치마크에 대한 일반화에 증강의 영향은 무엇인가?

주요 결과

• AAL 접근법은 미세 조정 없이도 소수 샷 학습 모델이 실제 라벨이 있는 태스크로 일반화되도록 한다.
• 비라벨링 데이터로 생성된 무감독 태스크는 표준 메타러닝 프레임워크(MAML 및 Prototypical Networks)와 함께 사용할 수 있다.
• 데이터 증강은 의미 있는 타깃 세트를 만드는 데 결정적인 역할을 하며 일반화 성능에 상당한 영향을 미칠 수 있다.
• 실험에서, MAML++ 및 특정 증강과 함께한 AAL은 감독기반 및 동시의 무감독 방법들과 비교해 Omniglot 및 Mini-Imagenet 태스크에서 경쟁력 있는 결과를 달성한다.
• 본 방법은 Omniglot 태스크에서 최소 한 개의 동시 무감독 기준선보다 더 나은 성능을 보이며, 대형 라벨링 데이터셋에서 자동 증강을 활용할 때 잠재적 트레이드오프가 있을 수 있다.