[논문 리뷰] Incremental Learning for Metric-Based Meta-Learners

Qing Liu, Orchid Majumder외 3명|arXiv (Cornell University)|2020. 02. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 3

한 줄 요약

이 논문은 메트릭 기반 메타러닝 모델을 위한 인크리멘탈 러닝 프레임워크를 제안하며, 메타트레이닝 중에 치명적인 잊음 없이 지속적인 적응을 가능하게 한다. 기존 메트릭 기반 알고리즘을 사용하여 새로운 데이터가 도착할 때마다 메타러너를 인크리멘탈리 업데이트함으로써, 전체 데이터셋 학습과 비교할 만한 성능을 달성하면서도 안정성을 유지한다.

ABSTRACT

Majority of the modern meta-learning methods for few-shot classification tasks operate in two phases: a meta-training phase where the meta-learner learns a generic representation by solving multiple few-shot tasks sampled from a large dataset and a testing phase, where the meta-learner leverages its learnt internal representation for a specific few-shot task involving classes which were not seen during the meta-training phase. To the best of our knowledge, all such meta-learning methods use a single base dataset for meta-training to sample tasks from and do not adapt the algorithm after meta-training. This strategy may not scale to real-world use-cases where the meta-learner does not potentially have access to the full meta-training dataset from the very beginning and we need to update the meta-learner in an incremental fashion when additional training data becomes available. Through our experimental setup, we develop a notion of incremental learning during the meta-training phase of meta-learning and propose a method which can be used with multiple existing metric-based meta-learning algorithms. Experimental results on benchmark dataset show that our approach performs favorably at test time as compared to training a model with the full meta-training set and incurs negligible amount of catastrophic forgetting

연구 동기 및 목표

• 기존 메타러닝 방법이 하나의 정적 메타트레이닝 데이터셋에 의존하는 한계를 해결하기 위해.
• 실제 환경에서 새로운 데이터가 지속적으로 도착할 때 메타러너의 지속적인 적응을 가능하게 하기 위해.
• 다양한 기존 메트릭 기반 메타러닝 알고리즘과 호환 가능한 일반화된 방법을 개발하기 위해.
• 소수의 샘플 분류 작업에서의 성능 유지를 유지하면서 동시에 인크리멘탈 업데이트 중 치명적인 잊음을 최소화하기 위해.

제안 방법

• 이 방법은 메트릭 기반 메타러너의 메타트레이닝 단계에서 새로운 인크리멘탈 러닝 프로토콜을 도입한다.
• 기존의 재학습 없이, 새로운 데이터 배치가 도착할 때마다 메타러너를 인크리멘탈리 업데이트할 수 있도록 한다.
• 고정된 내부 표현 용량을 유지하면서 경험 재생 또는 파라미터 정규화를 사용하여 잊음의 정도를 줄인다.
• 기존의 메트릭 기반 메타러너들인 프로토타입 네트워크와 매칭 네트워크와의 호환성을 고려하여 설계되었다.
• 인크리멘탈 업데이트 중에 이전과 새로운 작업을 모두 포함하는 작업 샘플링 전략을 사용한다.
• 기존에 접한 클래스에서의 지식을 유지함으로써 인크리멘탈 러닝 중 안정된 성능을 보장한다.

실험 결과

연구 질문

• RQ1 초기 메타트레이닝 이후 새로운 데이터가 도착할 때 메타러너를 효과적으로 인크리멘탈 방식으로 업데이트할 수 있는가?
• RQ2 인크리멘탈 메타러닝은 전체 데이터셋 기반 메타트레이닝과 비교해 테스트 정확도에서 어떻게 성능을 내는가?
• RQ3 제안된 방법이 인크리멘탈 업데이트 중 치명적인 잊음을 어느 정도 완화하는가?
• RQ4 이 방법은 다양한 기존 메트릭 기반 메타러닝 알고리즘에 적용되었을 때 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 인크리멘탈 러닝 방법은 전체 메타트레이닝 데이터셋을 사용한 학습과 비교해 테스트 성능이 유사하다.
• 치명적인 잊음은 거의 없으며, 인크리멘탈 업데이트 중 기존에 접한 클래스에서 성능 저하가 최소한이다.
• 인크리멘탈 업데이트 이후 기존 및 새로운 소수의 샘플 작업 모두에서 높은 정확도를 유지한다.
• 여러 벤치마크 데이터셋에서 효과적이며, 다양한 메트릭 기반 메타러너와 호환된다.
• 인크리멘탈 트레이닝 프로토콜은 데이터가 순차적으로 도착하는 실제 환경에서의 확장 가능한 구현을 가능하게 한다.