[논문 리뷰] Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters

Yawen Cui, Zitong Yu외 4명|arXiv (Cornell University)|2023. 02. 12.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 일반화 평가를 통해 새로운 도메인에 대한 일반화를 포함한 클래스 및 도메인 증분 학습을 통합하는 새로운 벤치마킹 프로토콜인 일반화된 소수 샘플 지속적 학습(GFSCL)을 제안한다. 이는 재생 기반 방법과 유사한 성능을 보이는, 재생이 없는 비전 트랜스포머 기반 프레임워크인 대비 혼합 어댑터(CMoA)를 도입한다. 이는 클래스 증분 학습을 위한 동적 어댑터 혼합과 프로토타입 보정 대비 학습을 통해 도메인 간 이질성 문제를 완화한다. 실험 결과, mini-ImageNet과 mini-DomainNet에서 뛰어난 성능을 기록하였다.

ABSTRACT

The goal of Few-Shot Continual Learning (FSCL) is to incrementally learn novel tasks with limited labeled samples and preserve previous capabilities simultaneously, while current FSCL methods are all for the class-incremental purpose. Moreover, the evaluation of FSCL solutions is only the cumulative performance of all encountered tasks, but there is no work on exploring the domain generalization ability. Domain generalization is a challenging yet practical task that aims to generalize beyond training domains. In this paper, we set up a Generalized FSCL (GFSCL) protocol involving both class- and domain-incremental situations together with the domain generalization assessment. Firstly, two benchmark datasets and protocols are newly arranged, and detailed baselines are provided for this unexplored configuration. We find that common continual learning methods have poor generalization ability on unseen domains and cannot better cope with the catastrophic forgetting issue in cross-incremental tasks. In this way, we further propose a rehearsal-free framework based on Vision Transformer (ViT) named Contrastive Mixture of Adapters (CMoA). Due to different optimization targets of class increment and domain increment, the CMoA contains two parts: (1) For the class-incremental issue, the Mixture of Adapters (MoA) module is incorporated into ViT, then cosine similarity regularization and the dynamic weighting are designed to make each adapter learn specific knowledge and concentrate on particular classes. (2) For the domain-related issues and domain-invariant representation learning, we alleviate the inner-class variation by prototype-calibrated contrastive learning. The codes and protocols are available at https://github.com/yawencui/CMoA.

연구 동기 및 목표

• 클래스 및 도메인 증분 소수 샘플 지속적 학습에 대한 통합 평가의 부족을 해결하기 위해.
• 클래스 증분과 도메인 증분 학습을 번갈아 가며 수행하는 새로운 벤치마킹 프로토콜 및 데이터셋 구성 방식을 제안하기 위해.
• 재생이 없는 프레임워크를 개발하여 소수 샘플 지속적 학습에서 치명적 기억 상실 문제를 완화하고 도메인 일반화 성능을 향상시키기 위해.
• 기존 소수 샘플 지속적 학습 연구에서 부족했던, 새로운 도메인에 대한 일반화 성능 평가를 수행하기 위해.

제안 방법

• 클래스 증분 및 도메인 증분 학습 세션을 번갈아 수행하는 새로운 GFSCL 프로토콜을 제안하며, 5-way 5-shot 또는 3-way 2-shot 소수 샘플 설정을 사용한다.
• 동적 태스크별 지식 학습을 위한 혼합 어댑터(MoA) 모듈을 갖춘 ViT 기반의 대비 혼합 어댑터(CMoA) 프레임워크를 도입한다.
• 각 어댑터가 특정 클래스에 특화되도록 하고 간섭을 방지하기 위해 코사인 유사도 정규화와 동적 어댑터 가중치를 적용한다.
• 내부 클래스 변동성을 줄이고 다양한 도메인 간 공통 표현을 학습하기 위해 프로토타입 보정 대비 학습을 적용한다.
• 클래스 특화 지식 학습과 도메인 강인 특징 학습을 위한 이중 브랜치 대비 손실 함수를 사용한다.
• 전체 정확도 및 일반화 정확도를 포함한 6개 지표를 사용하여 볼 수 있는 도메인과 볼 수 없는 도메인에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소수 샘플 지속적 학습 프레임워크는 동시에 클래스 증분 및 도메인 증분 시나리오를 효과적으로 처리할 수 있는가?
• RQ2 기존의 재생 기반 방법과 비교해 볼 때, 제안된 CMoA 프레임워크는 새로운 도메인에 대한 일반화 성능에서 어떤 성능을 보이는가?
• RQ3 코사인 유사도 정규화를 통한 동적 어댑터 혼합은 소수 샘플 지속적 학습에서 특화도 향상 및 기억 상실 감소에 얼마나 기여하는가?
• RQ4 프로토타입 보정 대비 학습은 지속적 학습 환경에서 도메인 불변 표현 학습을 향상시키는가?
• RQ5 기존 도메인 지식이 없는 새로운 도메인에서 새로운 클래스가 각 세션마다 도착할 경우, 프레임워크는 어떻게 성능을 보이는가?

주요 결과

• CMoA는 mini-ImageNet과 mini-DomainNet에서 재생 기반 방법과 유사한 성능을 기록하며, 뛀뜨러운 안정성과 적응성(플라스티시티)을 입증하였다.
• mini-ImageNet에서 3-way 2-shot 설정 하에 전체 정확도 78.4%를 달성하여 기존의 FSCL 기반 모델들을 초월하였다.
• mini-DomainNet에서는 전체 정확도 68.2%와 새로운 도메인에서의 일반화 정확도 52.1%를 기록하여 강력한 도메인 일반화 능력을 보였다.
• 제거 실험 결과, 동적 어댑터 가중치와 프로토타입 보정 대비 학습이 성능 향상에 필수적임을 확인하였으며, 특히 기억 상실 감소에 기여하였다.
• 시각화 결과, 표준 ViT보다 CMoA가 더 집중적인 주의 맵을 학습하는 것으로 나타나, 더 나은 특징 학습 능력을 지닌 것으로 보였다.
• 새로운 도메인에서의 새로운 클래스가 각 세션마다 도착하는 더 도전적인 상황에서도, CMoA는 초반 성능 저하를 보였지만 결국 ViT 및 어댑터 기반 모델을 앞서는 성능을 기록하였으며,未래 개선 여지가 있음을 시사하였다.