[논문 리뷰] Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples

Eleni Triantafillou, Tyler Zhu외 9명|arXiv (Cornell University)|2019. 03. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 282

한 줄 요약

메타-데이터세트(Meta-Dataset)를 소개하는 대규모의 다양한 소수샷 학습 벤치마크로, 10개의 데이터세트에 걸쳐 다양한 작업, 평가 프로토콜, 그리고 새로운 메타-학습자(Proto-MAML)가 포함되어 새로운 데이터세트에 더 잘 일반화하도록 합니다.

ABSTRACT

Few-shot classification refers to learning a classifier for new classes given only a few examples. While a plethora of models have emerged to tackle it, we find the procedure and datasets that are used to assess their progress lacking. To address this limitation, we propose Meta-Dataset: a new benchmark for training and evaluating models that is large-scale, consists of diverse datasets, and presents more realistic tasks. We experiment with popular baselines and meta-learners on Meta-Dataset, along with a competitive method that we propose. We analyze performance as a function of various characteristics of test tasks and examine the models' ability to leverage diverse training sources for improving their generalization. We also propose a new set of baselines for quantifying the benefit of meta-learning in Meta-Dataset. Our extensive experimentation has uncovered important research challenges and we hope to inspire work in these directions.

연구 동기 및 목표

• Omniglot과 mini-ImageNet을 넘어서는 보다 현실적이고 다양한 소수샷 학습 벤치마크의 필요성을 제시한다.
• 이형의 데이터와 다양한 에피소드 구조를 평가하기 위한 대규모 다데이터셋 환경을 제공한다.
• 다양한 데이터세트 간 일반화에 영향을 주는 학습 데이터 소스, 사전 학습, 메타학습의 효과를 분석하고 평가한다.
• Proto-MAML과 같은 새로운 메타-학습기를 제안하여 Prototypical Network의 프로토타입과 MAML 스타일의 적응을 결합해 Meta-Dataset에서의 성능을 향상시킨다.

제안 방법

• 10개의 서로 다른 데이터세트(ImageNet, Omniglot, Aircraft, CUB, Describable Textures, Quick Draw, Fungi, VGG Flowers, Traffic Signs, MSCOCO)를 합산하여 새로운 소수샷 학습 벤치마크를 정의한다.
• 클래스 수와 샷의 변화를 포함하고 ImageNet/Omniglot 계층 구조를 반영하는 계층적이고 데이터세트 인식적인 에피소드 샘플링 절차를 설계한다.
• 비에피소드 baselines(k-NN, Finetune, 코사인 유사도 분류기 변형)와 에피소드 기반 메타-학습자(Matching Networks, Relation Networks, Prototypical Networks, MAML, Proto-MAML)를 비교한다.
• Proto-MAML을 도입하여 에피소드별 선형 분류기를 Prototypical Network의 프로토타입으로 초기화하고 임베딩의 그래디언트 기반 적응을 허용한다.
• 전이 학습(pre-training)(ImageNet 대 모든 데이터세트), 메타 학습 효과, 추론만 baselines를 탐색하여 이질적인 데이터에서 메타학습의 이점을 정량화한다.
• 메타-데이터세트에 대한 재현 가능한 평가 프로토콜과 오픈 소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 다중 데이터세트, 이질적인 에피소드 설계가 보지 못한 데이터세트와 작업에 대한 메타-학습자의 일반화 능력을 향상시키는가?
• RQ2 다른 학습 소스(ImageNet 전용 대 모든 데이터세트)와 사전 학습이 데이터 간 일반화에 어떤 영향을 미치는가?
• RQ3 메타-학습이 다양한 데이터세트에서 일관되게 이점을 주는가, 아니면 데이터 소스와 작업 구성에 의존하는가?
• RQ4 Proto-MAML과 같은 하이브리드 메타-학습기가 큰 다양성 벤치마크에서 표준 메타-학습기보다 더 나은 성능을 보이는가?
• RQ5 현실적인 클래스 불균형 및 가변 샷/웨이 설정에 직면했을 때 현재 메타학습 접근법의 한계는 무엇인가?

주요 결과

Test Source	k-NN	Finetune	MatchingNet	ProtoNet	fo-MAML	RelationNet	fo-Proto-MAML
ILSvRC	38.55	43.08	36.08	44.50	37.83	30.89	46.52
Omniglot	74.60	71.11	78.25	79.56	83.92	86.57	82.69
Aircraft	64.98	72.03	69.17	71.14	76.41	69.71	75.23
Birds	66.35	59.82	56.40	67.01	62.43	54.14	69.88
Textures	63.58	69.14	61.80	65.18	64.16	56.56	68.25
Quick Draw	44.88	47.05	60.81	64.88	59.73	61.75	66.84
Fungi	37.12	38.16	33.70	40.26	33.54	32.56	41.99
VGG Flower	83.47	85.28	81.90	86.85	79.94	76.08	88.72
Traffic Signs	40.11	66.74	55.57	46.48	42.91	37.48	52.42
MSCOCO	29.55	35.17	28.79	39.87	29.37	27.41	41.74
Avg. rank	5.05	3.6	4.95	2.85	4.25	5.8	1.5

• Meta-Dataset은 도전적이고 다양한 벤치마크를 제공하며, 성능은 데이터세트 및 작업 구성을 따라 크게 달라진다.
• ImageNet에서의 사전 학습은 일반적으로 자연 이미지 데이터세트에 도움이 되지만 더 먼 데이터세트(예: Omniglot, Quick Draw)에서는 성능이 저하될 수 있다.
• 모든 데이터세트에서의 학습은 일부 데이터세트(예: Omniglot, Quick Draw, Aircraft)에서 성능을 향상시킬 수 있지만 모든 대상에 일관되게 개선되지는 않는다.
• 추론 전용 대비 전체 메타-학습 baselines를 평가할 때 이점이 균등하지 않으며, 이질적 데이터 하에서의 비교는 자동으로 일반화를 향상시키지 않는다.
• Proto-MAML은 종종 데이터세트 간의 평균 순위에서 최고를 기록하며, Prototypical Networks는 강력한 성능을 보이고 Finetune은 경쟁력 있는 베이스라인이다.
• 메타-학습의 가치 여부는 데이터 이질성, 초기화, 에피소드 생성 전략에 의존하며, 향후 연구 방향을 제시한다.