[논문 리뷰] LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning

Huaiyu Li, Weiming Dong외 4명|arXiv (Cornell University)|2019. 05. 15.

Domain Adaptation and Few-Shot Learning인용 수 50

한 줄 요약

LGM-Net은 Few-shot 태스크 데이터로 TaskNet 가중치를 생성하는 MetaNet을 훈련시켜 미세조정 없이도 보지 못한 태스크에 신속하게 적응할 수 있게 한다. 이는 Task Context Encoder와 Weight Generator를 사용하여 매칭 네트워크의 파라미터를 생성하고, 태스크 간 정규화를 통해 태스크 간 정보를 공유한다.

ABSTRACT

In this work, we propose a novel meta-learning approach for few-shot classification, which learns transferable prior knowledge across tasks and directly produces network parameters for similar unseen tasks with training samples. Our approach, called LGM-Net, includes two key modules, namely, TargetNet and MetaNet. The TargetNet module is a neural network for solving a specific task and the MetaNet module aims at learning to generate functional weights for TargetNet by observing training samples. We also present an intertask normalization strategy for the training process to leverage common information shared across different tasks. The experimental results on Omniglot and miniImageNet datasets demonstrate that LGM-Net can effectively adapt to similar unseen tasks and achieve competitive performance, and the results on synthetic datasets show that transferable prior knowledge is learned by the MetaNet module via mapping training data to functional weights. LGM-Net enables fast learning and adaptation since no further tuning steps are required compared to other meta-learning approaches.

연구 동기 및 목표

• 태스크 간 전이 가능한 선지 지식을 활용하여 보지 못한 Few-shot 태스크에 대한 신속한 적응 필요성을 동기화하고 해결한다.
• 제한된 태스크 데이터로부터 기능적 가중치를 직접 생성하는 메타학습 프레임워크를 제안한다.
• Task Context Encoder와 조건부 Weight Generator를 갖춘 효율적인 MetaNet 아키텍처를 Introduce 한다.
• 학습 과정에서 태스크 간 정규화(inter-task normalization)을 도입하여 태스크 간 공유 정보를 활용한다.

제안 방법

• 두 모듈 아키텍처: TargetNet(생성 가중치를 사용하는 TaskNet)과 MetaNet(태스크 데이터로 TargetNet 가중치를 생성)
• MetaNet은 고정 크기 컨텍스트로 학습 샘플을 인코딩하는 Task Context Encoder와 컨텍스트를 TargetNet 가중치로 매핑하는 Conditional Weight Generator로 구성된다.
• 태스크 컨텍스트는 재매개변수화된 다변량 가우시안으로 모델링되며 각 TargetNet 층의 가중치는 층별 제너레이터에 의해 생성되고 정규화된다(가중치 정규화).
• TargetNet은 MetaNet에 의해 가중치가 생성되는 매칭 네트워크이며 분류는 임베디드 피처에 대해 코사인 거리 기반 주의(attentional metric)를 사용한다.
• 배치 정규화를 통한 Intertask Normalization(ITN)을 통해 태스크 배치 간 통계를 공유하고 학습을 향상시킨다.
• 학습 절차는 메타-학습 데이터로 에피소드 태스크를 통해 MetaNet을 최적화하고 각 태스크의 테스트 분할에 대한 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 메타 러너가 제한된 태스크 데이터에서 TaskNet의 기능적 가중치를 생성하고 이를 통해 보지 못한 태스크에 일반화할 수 있는가?
• RQ2 MetaNet을 통한 TaskNet 가중치 생성을 초기화나 업데이트 규칙에 의존하는 전통적인 메타학습 방법과 비교하여 Few-shot 성능을 향상시키는가?
• RQ3 Task Context Encoder와 Intertask Normalization이 새로운 태스크에 대한 일반화에 미치는 영향은 무엇인가?
• RQ4 생성된 가중치가 태스크 간에 어떻게 분포되며, 그것이 전이 가능한 사전 지식에 대해 시사하는 것은 무엇인가?

주요 결과

모델	5-way 1-shot	5-way 5-shot	20-way 1-shot
Matching networks (Vinyals et al., 2016)	43.56 ± 0.84%	55.31 ± 0.73%	17.31 ± 0.22%
Meta-LSTM (Ravi & Larochelle, 2017)	43.44 ± 0.77%	60.60 ± 0.71%	16.70 ± 0.23%
MetaNet (Munkhdalai & Yu, 2017)	49.21 ± 0.96%	-	-
Prototypical Nets (Snell et al., 2017)	49.42 ± 0.78%	68.20 ± 0.66%	-
MAML (Finn et al., 2017)	48.70 ± 1.84%	63.11 ± 0.92%	16.49 ± 0.58%
Meta-SGD (Li et al., 2017)	50.47 ± 1.87%	64.03 ± 0.94%	17.56 ± 0.64%
Relation Net (Sung et al., 2018)	51.38 ± 0.82%	67.07 ± 0.69%	-
REPTILE (Nichol & Schulman)	49.97 ± 0.32%	65.99 ± 0.58%	-
SNAIL (Mishra et al., 2018)	55.71 ± 0.99%	65.99 ± 0.58%	-
(Gidaris & Komodakis, 2018)	56.20 ± 0.86%	73.00 ± 0.64%	-
LEO (Rusu et al., 2019)	61.76 ± 0.08%	77.59 ± 0.12%	-
LGM-Net (Ours)	69.13 ± 0.35%	71.18 ± 0.68%	26.14 ± 0.34%

• mini-ImageNet에서 LGM-Net은 5-way 1-shot에서 69.13% 및 5-way 5-shot에서 71.18%로 다수의 베이스라인을 능가하는 SOTA 유사 결과를 달성한다.
• Omniglot에서 LGM-Net은 5-way 및 20-way 설정에서 경쟁력 있는 성능을 달성한다(예: 5-way 1-shot에서 99.0%).
• ablation 연구에서 ITN이 성능을 크게 향상시키고 Task Context Encoder가 무작위 priors를 넘어 기여하며 가중치 정규화가 학습을 안정화시키는 것으로 나타났다.
• 생성된 가중치가 t-SNE 시각화에서 태스크별로 클러스터링되며, MetaNet이 태스크 특성 가중치 분포를 학습하고 유사한 태스크로 전달된다는 것을 시사한다.
• 고정 가중치 매칭 네트워크 및 여러 메타학습 베이스라인과 비교하여, LGM-Net은 추가적인 미세조정이 필요 없는 점에서 적응력과 추론 속도가 향상된다.