[논문 리뷰] Deep Meta-Learning: Learning to Learn in the Concept Space

Fengwei Zhou, Bin Wu외 1명|arXiv (Cornell University)|2018. 02. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 105

한 줄 요약

이 논문은 개념 생성기, 메타-러너, 개념 판별기를 공동 학습하여 여러 메타-러너에서 소수 샷 이미지 인식을 개선하기 위해 개념 공간에서 메타-학습을 학습하는 Deep Meta-Learning(DEML)을 소개한다.

ABSTRACT

Few-shot learning remains challenging for meta-learning that learns a learning algorithm (meta-learner) from many related tasks. In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning. The framework is composed of three modules, a concept generator, a meta-learner, and a concept discriminator, which are learned jointly. The concept generator, e.g. a deep residual net, extracts a representation for each instance that captures its high-level concept, on which the meta-learner performs few-shot learning, and the concept discriminator recognizes the concepts. By learning to learn in the concept space rather than in the complicated instance space, deep meta-learning can substantially improve vanilla meta-learning, which is demonstrated on various few-shot image recognition problems. For example, on 5-way-1-shot image recognition on CIFAR-100 and CUB-200, it improves Matching Nets from 50.53% and 56.53% to 58.18% and 63.47%, improves MAML from 49.28% and 50.45% to 56.65% and 64.63%, and improves Meta-SGD from 53.83% and 53.34% to 61.62% and 66.95%, respectively.

연구 동기 및 목표

• 인스턴스 공간에서 소수 샷 작업이 메타-학습에 어려움을 주는 이유를 제시하고 개념 공간에서 학습을 제안한다.
• 종단 간 학습으로 훈련된 세 모듈 프레임워크(개념 생성기, 메타-러너, 개념 판별기)를 도입한다.
• 다수의 데이터셋과 다수의 메타-학습자에서 소수 샷 성능의 개선을 시연한다.

제안 방법

• 3-모듈 DEML 프레임워크 정의: G(개념 생성기), M(메타-러너), D(개념 판별기).
• 태스크와 외부 데이터 전반에 걸쳐 메타-학습 손실과 개념 판별 손실을 공동 최적화한다.
• 매칭 네트(Matching Nets), MAML, Meta-SGD를 메타-러너로 사용한 구현을 제시한다.
• G로서의 ResNet-50과 D로서의 소형 네트워크를 사용하고 M은 개념 공간에서 소샷 학습을 수행하도록 적합화한다.
• 개념 공간에서의 메타-학습 손실 L_T와 개념 판별 손실 L_(x,y)을 결합한 공동 목표를 제시한다.
• Mini Imagenet, Caltech-256, CIFAR-100, CUB-200에서 5-way-1-shot 및 5-way-5-shot 설정의 경험적 이득을 보인다.

실험 결과

연구 질문

• RQ1 개념 생성기를 통한 개념 공간 학습이 일반적인 인스턴스 공간의 메타-학습과 비교해 소수 샷 메타-학습을 개선할 수 있는가?
• RQ2 개념 판별기와의 공동 학습이 외부 지식과 작업-불변의 메타-학습 간의 균형을 맞춰 더 나은 표현을 제공하는가?
• RQ3 DEML-강화 메타-학습자(Matching Nets, MAML, Meta-SGD)가 표준 소수 샷 벤치마크에서 일반 버전과 비교해 어떤 차이가 있는가?
• RQ4 개선이 더 깊은 네트워크나 더 큰 데이터셋 때문이 아니라 개념 공간 학습 때문인지?

주요 결과

Method	MiniImagenet 5-way-1-shot	MiniImagenet 5-way-5-shot	Caltech-256 5-way-1-shot	Caltech-256 5-way-5-shot	CIFAR-100 5-way-1-shot	CIFAR-100 5-way-5-shot	CUB-200 5-way-1-shot	CUB-200 5-way-5-shot
Matching Nets	43.56 b1 0.84	55.31 b1 0.73	48.09 b1 0.83	57.45 b1 0.74	50.53 b1 0.87	60.30 b1 0.82	56.53 b1 0.99	63.54 b1 0.85
DEML+Matching Nets	55.84 b1 0.94	59.88 b1 0.73	52.97 b1 0.99	59.42 b1 0.75	58.18 b1 1.09	63.12 b1 0.85	63.47 b1 1.10	64.86 b1 0.87
MAML	48.70 b1 1.84	63.11 b1 0.92	45.59 b1 0.77	54.61 b1 0.73	49.28 b1 0.90	58.30 b1 0.80	50.45 b1 0.97	59.60 b1 0.84
DEML+MAML	53.71 b1 0.89	68.13 b1 0.77	56.81 b1 1.01	70.54 b1 0.73	56.65 b1 1.09	68.66 b1 0.85	64.63 b1 1.08	66.75 b1 0.89
Meta-SGD	50.47 b1 1.87	64.03 b1 0.94	48.65 b1 0.82	64.74 b1 0.75	53.83 b1 0.89	70.40 b1 0.74	53.34 b1 0.97	67.59 b1 0.82
DEML+Meta-SGD	58.49 b1 0.91	71.28 b1 0.69	62.25 b1 1.00	79.52 b1 0.63	61.62 b1 1.01	77.94 b1 0.74	66.95 b1 1.06	77.11 b1 0.78

• DEML은 세 가지 기본 학습자(Matching Nets, MAML, Meta-SGD)에서 일반 메타-학습을 일관되게 향상시킨다.
• 5-way-1-shot 및 5-way-5-shot 작업에서 DEML+Meta-SGD는 MiniImagenet에서 58.49%/71.28%, Caltech-256에서 62.25%/79.52%, CIFAR-100에서 61.62%/77.94%, CUB-200에서 66.95%/77.11%를 달성하며 일반 방법을 능가한다.
• DEML+Matching Nets는 모든 데이터셋에서 일반 Matching Nets보다 향상된 성능을 보인다(예: MiniImagenet 5-way-1-shot에서 55.84%대 43.56% 대비).
• DEML+MAML은 일반 MAML에 비해 상당한 개선을 보인다(예: MiniImagenet 5-way-1-shot에서 53.71% 대 48.70%).
• DEML은 단순히 네트워크를 키우거나 데이터셋을 늘리는 것보다 개념 공간 학습으로 이득을 얻는다는 것을 시사한다.