[논문 리뷰] Defining Benchmarks for Continual Few-Shot Learning

Antreas Antoniou, Massimiliano Patacchiola외 2명|arXiv (Cornell University)|2020. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 27

한 줄 요약

이 논문은 지속적 소수학습을 위한 새로운 벤치마크 프레임워크를 소개하며, 200개의 샘플(총 20만 개)이 클래스당 있는 64×64 크기의 ImageNet의 컴act한 변종인 SlimageNet64를 제안한다. 다양한 지속적 학습 설정에서 최신 소수학습 모델을 평가한 결과, 임베딩 기반과 기울기 기반 방법을 조합한 하이브리드 모델이 일반화 성능에서 단일 접근 방식 모델보다 100–200% 높게 성능을 내며, 특히 동적 클래스 상황에서 두드러진다.

ABSTRACT

Both few-shot and continual learning have seen substantial progress in the last years due to the introduction of proper benchmarks. That being said, the field has still to frame a suite of benchmarks for the highly desirable setting of continual few-shot learning, where the learner is presented a number of few-shot tasks, one after the other, and then asked to perform well on a validation set stemming from all previously seen tasks. Continual few-shot learning has a small computational footprint and is thus an excellent setting for efficient investigation and experimentation. In this paper we first define a theoretical framework for continual few-shot learning, taking into account recent literature, then we propose a range of flexible benchmarks that unify the evaluation criteria and allows exploring the problem from multiple perspectives. As part of the benchmark, we introduce a compact variant of ImageNet, called SlimageNet64, which retains all original 1000 classes but only contains 200 instances of each one (a total of 200K data-points) downscaled to 64 x 64 pixels. We provide baselines for the proposed benchmarks using a number of popular few-shot learning algorithms, as a result, exposing previously unknown strengths and weaknesses of those algorithms in continual and data-limited settings.

연구 동기 및 목표

• 지속적 소수학습을 위한 표준화된 벤치마크의 부족을 해결하기 위해, 저자료 소수학습과 순차적 작업 스트림을 결합한 설정을 제안한다.
• 에피소드 기반 학습과 지속적 학습 다이내믹스를 통합하는 이론적 프레임워크를 체계화한다.
• 지속적 소수학습 모델의 체계적 평가를 위한 최소화되고 효율적이며 메모리 우수한 데이터셋(SlimageNet64)을 제공한다.
• 기존의 소수학습 알고리즘들이 지속적, 자료 제한, 메모리 제약 조건 하에서 이전에 알려지지 않은 강점과 약점을 드러낸다.
• 미니배치 스토하스틱 트레이닝 환경에서 치명적 망각과 샘플 효율성의 체계적 연구를 가능하게 한다.

제안 방법

• 모델이 순차적인 지원 집합으로부터 하나의 소수학습 작업씩 학습하는 새로운 벤치마크 설정을 제안하며, 학습 중 과거나 향후 작업에 대한 접근이 없도록 한다.
• SlimageNet64를 도입: ImageNet의 64×64 크기, 총 20만 개 데이터 포인트로 구성된 서브셋으로, 1,000개의 모든 클래스를 유지하면서 클래스당 200개의 샘플만 포함하며, RAM이 9GB만 필요하다.
• 네 가지 평가 설정을 설계: 신규 샘플(A), 신규 클래스(B), 오버라이트가 있는 신규 클래스(C), 신규 클래스와 샘플(D)로, 다양한 작업 이동 조건 하에서의 일반화 성능을 테스트한다.
• 공유 메모리 백을 활용해 작업별 지식을 저장하여, 통합 대상 집합에서 추론 시 이전 정보에 접근할 수 있도록 한다.
• 기존의 표준 소수학습 모델(예: ProtoNets, MAML++, SCA)을 베이스라인으로 사용하며, 네 가지 설정 전반에서 성능을 평가한다.
• ATM(활성화-메모리) 및 MAC(乗加산) 비용을 측정하여, 다양한 모델 간의 계산 오버헤드를 비교한다.

실험 결과

연구 질문

• RQ1 기존의 소수학습 모델은 지속적, 순차적, 자료 제한 조건 하에서 어떻게 성능을 내는가?
• RQ2 지속적 소수학습에서 임베딩 기반, 기울기 기반, 하이브리드 소수학습 모델 간의 상대적 성능은 어떠한가?
• RQ3 데이터셋 선택(예: SlimageNet64 대비 Omniglot)이 지속적 소수학습에서 모델의 일반화 및 효율성에 어떤 영향을 미치는가?
• RQ4 메모리 제약과 작업 이동(예: 신규 클래스, 신규 샘플)이 모델 성능과 망각에 어느 정도의 영향을 미치는가?
• RQ5 지속적 소수학습에서 저성능 및 고성능 MAML++ 변종 간의 계산 비용 트레이드오프는 어떠한가?

주요 결과

• 임베딩 기반과 기울기 기반 최적화를 조합한 하이브리드 모델(예: 하이엔드 MAML++, SCA)은 일반화 정확도에서 단일 방법 모델보다 100–200% 높은 성능을 지속적으로 보인다.
• 신규 클래스와 샘플 설정(D)에서, 임베딩 기반 방법이 기울기 기반 방법보다 유의미한 격차로 뛰어나며, 이는 새로운 클래스 정보의 유지 능력이 뛰어남을 시사한다.
• ProtoNets는 New Classes with Overwrite 설정(C)에서도 Low-End MAML++보다 항상 뛰어나며, 이는 이 데이터셋에서 클래스 유지 능력이 분리 능력보다 더 중요함을 시사한다.
• ProtoNets는 계산적으로 가장 효율적인 모델로, ATM 및 MAC 비용이 MAML++ 변종보다 두 자리 수 낮다.
• 지원 샘플 수가 증가함에 따라 Low-End MAML++는 High-End 변종보다 훨씬 더 비싸지게 되며, 이는 특징 평탄화 및 선형 레이어 설계 때문이다.
• 신규 샘플 설정(A)에서, SlimageNet64에서는 임베딩 기반 및 기울기 기반 방법이 유사한 성능을 보이며, Omniglot에서는 기울기 기반 방법이 지배적이지만, 이는 데이터셋에 따라 성능 이동이 발생함을 시사한다.