[논문 리뷰] MxML: Mixture of Meta-Learners for Few-Shot Classification

Minseop Park, Jungtaek Kim외 3명|arXiv (Cornell University)|2019. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 5

한 줄 요약

MxML은 쿼리 태스크의 잠재적 특징에 기반해 다수의 기본 메타러닝 모델에 최적의 가중치를 동적으로 할당하는 가중치 예측 네트워크(WPN)를 활용하는 태스크 적응형 메타러닝 혼합 모델을 제안한다. 이 방법은 분포 내 및 분포 외 적인 소수 샘플 분류 벤치마크에서 최신 기술을 뛰어넘으며, 다양한 시각적 도메인에서 강력한 일반화 능력을 보여준다.

ABSTRACT

A meta-model is trained on a distribution of similar tasks such that it learns an algorithm that can quickly adapt to a novel task with only a handful of labeled examples. Most of current meta-learning methods assume that the meta-training set consists of relevant tasks sampled from a single distribution. In practice, however, a new task is often out of the task distribution, yielding a performance degradation. One way to tackle this problem is to construct an ensemble of meta-learners such that each meta-learner is trained on different task distribution. In this paper we present a method for constructing a mixture of meta-learners (MxML), where mixing parameters are determined by the weight prediction network (WPN) optimized to improve the few-shot classification performance. Experiments on various datasets demonstrate that MxML significantly outperforms state-of-the-art meta-learners, or their naive ensemble in the case of out-of-distribution as well as in-distribution tasks.

연구 동기 및 목표

• 기존 메타러닝 기법의 한계를 해결하기 위해, 메타트레이닝 태스크의 분포와 다를 경우 성능 저하가 발생하는 문제를 해결한다.
• 다양한 데이터셋에서 훈련된 다수의 메타러닝 모델을 활용해, 새로운 분포 외 태스크로의 일반화 능력을 향상시키는 방법을 개발한다.
• 각 새로운 태스크의 특성에 기반해 기초 메타러닝 모델을 적응적으로 선택하고 조합하는 동적 앙상블 메커니즘을 설계한다.
• 각 새로운 태스크에 대해 재학습이나 관련 데이터셋 수동 선택 없이도 소수 샘플 분류 성능을 향상시키는 것을 목표로 한다.

제안 방법

• 다양한 시각적 도메인에 특화된 데이터셋 전용 메타러닝 모델(예: miniImageNet, CUB200, CIFAR10)을 훈련시어, 각각 다른 도메인에서 특화된 성능을 확보한다.
• 쿼리 태스크의 잠재적 임bedding을 입력으로 받아 기초 메타러닝 모델의 최적 혼합 가중치를 예측하는 가중치 예측 네트워크(WPN)를 사용한다.
• 각 데이터셋의 별도로 확보된 클래스 세트를 사용해 WPN를 훈련시켜, 아직 보지 못한 태스크에 대해 메타러닝 모델 성능을 평가하고 조합하는 법을 학습한다.
• 기본 메타러닝 모델 출력의 가중 평균으로 최종 예측을 구성하는 혼합 모델을 구성하며, 추론 시점에 WPN가 결정한 가중치를 사용한다.
• 분포 내 및 분포 외 태스크에서 소수 샘플 분류 정확도를 향상시키기 위해 MxML 전체 시스템을 엔드 투 엔드로 최적화한다.
• 두 단계 훈련 설정을 사용한다: 기초 메타러닝 모델은 각각의 데이터셋에서 훈련되고, WPN는 데이터 유출을 방지하기 위해 별도의 검증 세트 클래스에서 훈련된다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 훈련된 메타러닝 모델의 혼합이 단일 모델이나 단순 앙상블 모델보다 분포 외 소수 샘플 분류 태스크에 더 잘 일반화되는가?
• RQ2 외부 지표나 재학습에 의존하지 않고, 새로운 태스크의 특성에 기반해 추론 시점에 혼합 계수를 적응적으로 결정할 수 있는가?
• RQ3 WPN를 통해 메타러닝 모델 성능을 평가하는 방식이, 균일 평균화나 고정 가중치 방법보다 소수 샘플 분류 정확도를 향상시키는가?
• RQ4 관련되지만 다른 데이터셋에서 추가 메타러닝 모델을 도입했을 때, MxML이 분포 내 태스크에서 성능을 얼마나 향상시키는가?

주요 결과

• MxML은 miniImageNet에서 1-shot 5-way 분류에서 51.393% 정확도(95% 신뢰구간: 0.765)를 달성하여, 데이터셋 전용 모델(50.741%)과 단일 모델(47.432%)을 모두 능가한다.
• 5-shot 5-way 분류에서는 69.338% 정확도(95% 신뢰구간: 0.642)를 기록하여, 데이터셋 전용 모델(67.781%)과 균일 평균화 기반 베이스라인(66.007%)을 초월한다.
• Omniglot에서 MNIST로의 분포 외 태스크 테스트에서 MxML는 개별 모델과 단순 앙상블 모두를 능가하며, 도메인 이동에 대한 강건성을 입증한다.
• WPN는 관련 메타러닝 모델에 더 높은 가중치를 할당하는 것을 학습한다 — 예를 들어, CIFAR10에서 테스트할 경우 CIFAR100 모델에 높은 가중치를, CUB200에서 테스트할 경우 AwA2/Caltech256 모델에 높은 가중치를 할당함으로써, 효과적인 태스크 인식 적응이 이루어짐을 보여준다.
• 분포 내 설정에서도 MxML은 단일 모델과 앙상블 모델보다 일관되게 성능 향상을 보이며, 동일한 분포 내에서도 다양한 메타러닝 모델을 조합함으로써 일반화 능력이 향상됨을 입증한다.
• 혼합 계수의 시각화 결과, MxML가 태스크 유사도에 기반해 가장 관련성이 높은 메타러닝 모델에 집중하는 것을 확인할 수 있으며, 의미적으로 유사한 데이터셋(예: 동물 분류)에서 유래한 모델에 높은 가중치를 할당한다.