[논문 리뷰] Introducing Language Guidance in Prompt-based Continual Learning

Muhammad Gul Zain Ali Khan, Muhammad Ferjad Naeem외 4명|arXiv (Cornell University)|2023. 08. 30.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 프롬프트 기반 지속 학습을 위한 언어 안내(LGCL)를 제안한다. 이는 사전 훈련된 언어 임베딩과 프롬프트 풀 키 및 비전 인코더 출력을 정렬하여 프롬프트 기반 지속 학습을 향상시키는 플러그인 방식이다. 추가 학습 가능한 파라미터 없이도 일반화 능력을 향상시키고 치명적인 잊음 현상을 줄이며, Split CIFAR-100 및 ImageNet-R와 같은 벤치마크 데이터셋에서 새로운 최고 성능(SoTA)을 달성한다.

ABSTRACT

Continual Learning aims to learn a single model on a sequence of tasks without having access to data from previous tasks. The biggest challenge in the domain still remains catastrophic forgetting: a loss in performance on seen classes of earlier tasks. Some existing methods rely on an expensive replay buffer to store a chunk of data from previous tasks. This, while promising, becomes expensive when the number of tasks becomes large or data can not be stored for privacy reasons. As an alternative, prompt-based methods have been proposed that store the task information in a learnable prompt pool. This prompt pool instructs a frozen image encoder on how to solve each task. While the model faces a disjoint set of classes in each task in this setting, we argue that these classes can be encoded to the same embedding space of a pre-trained language encoder. In this work, we propose Language Guidance for Prompt-based Continual Learning (LGCL) as a plug-in for prompt-based methods. LGCL is model agnostic and introduces language guidance at the task level in the prompt pool and at the class level on the output feature of the vision encoder. We show with extensive experimentation that LGCL consistently improves the performance of prompt-based continual learning methods to set a new state-of-the art. LGCL achieves these performance improvements without needing any additional learnable parameters.

연구 동기 및 목표

• 데이터 재재현이나 아키텍처 확장에 의존하지 않고 지속 학습에서 치명적인 잊음 현상을 해결하기 위해.
• 서로 다른 작업 클래스를 위한 통일된 표현 공간으로서 사전 훈련된 언어 모델의 의미 일관성을 활용하기 위해.
• 작업 수준(프롬프트 풀 키)과 클래스 수준(출력 특징)에서 언어 안내를 도입하여 프롬프트 기반 지속 학습을 향상시키기 위해.
• 추가 학습 가능한 파라미터 없이 성능을 향상시키는 모델에 종속되지 않는 방법을 개발하기 위해.
• 다양한 텍스트 인코더와 키 초기화 전략에 걸쳐 언어 안내의 강건성과 효과성을 검증하기 위해.

제안 방법

• 모든 작업의 클래스 레이블에 대한 CLIP 또는 BERT 스타일의 텍스트 임베딩과 일치시키는 프롬프트 풀 내의 학습 가능한 키를 사용해 작업 수준의 언어 안내를 도입한다.
• 비전 인코더의 출력 특징을 실제 클래스 레이블의 언어 임베딩과 일치시키는 방식으로 클래스 수준의 언어 안내를 적용한다.
• 프롬프트 키 임베딩과 해당 작업 수준의 언어 표현 간의 거리를 최소화하기 위해 대비 손실(contrastive loss)을 사용한다.
• 비전 인코더의 출력 특징과 클래스 수준의 언어 임베딩 간의 거리를 최소화하기 위해 대비 손실을 사용한다.
• CLIP, RoBERTa, BERT 등의 사전 훈련된 텍스트 인코더를 사용해 작업 수준 및 클래스 수준의 안내를 위한 의미 임베딩을 제공한다.
• 추가 파라미터 없이 손실 함수만 통합함으로써 기존의 프롬프트 기반 지속 학습 프레임워크에 모델에 종속되지 않는 설계를 유지한다.

실험 결과

연구 질문

• RQ1 언어 임베딩은 지속 학습 작업 간에 분리된 클래스 집합을 통합하는 공통의 의미 공간으로 기능할 수 있는가?
• RQ2 프롬프트 풀 키 수준에서 언어 안내를 도입하면 작업 일반화 능력 향상과 잊음 감소에 기여하는가?
• RQ3 비전 인코더의 출력 특징을 클래스 수준의 언어 표현과 정렬하면 분류 정확도와 강건성 향상에 기여하는가?
• RQ4 텍스트 인코더 선택(예: CLIP 대비 BERT)이 언어 안내 방법의 성능에 미치는 영향은 무엇인가?
• RQ5 프롬프트 풀의 키가 고정되어 있거나 학습 가능한 경우에도 이 방법은 여전히 효과적인가?

주요 결과

• Split CIFAR-100에서 LGCL은 새로운 최고 성능을 달성하였으며, Dual Prompt + LGCL이 CLIP을 텍스트 인코더로 사용할 경우 평균 정확도 87.23%를 기록하고 잊음률은 5.10%에 그쳤다.
• 더 도전적인 Split ImageNet-R에서 LGCL은 Dual Prompt의 평균 정확도를 69.46%에서 69.46%로 향상시키며, 잊음률은 4.26%에서 4.20%로 감소시켰다. 이는 작업 수준 및 클래스 수준의 안내를 모두 적용했을 때의 결과이다.
• 제거 실험(ablation study) 결과, 작업 수준 및 클래스 수준의 언어 안내가 모두 필요하다는 것이 확인되었으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• CLIP의 텍스트 인코더를 사용할 경우 최고의 성능(87.23% 정확도)을 기록했지만, BERT와 RoBERTa 역시 강력한 성능을 보이며 텍스트 인코더 선택에 대한 강건성을 입증한다.
• CLIP의 텍스트 인코더 키를 고정할 경우 성능이 낮아져 86.15%의 정확도를 기록하는 반면, 학습 가능한 키를 사용할 경우 87.23%의 정확도를 달성함으로써 키 표현 최적화의 이점이 입증된다.
• 추가 학습 가능한 파라미터 없이도 성능 향상을 달성하여 자원 제약이 있는 환경에서도 매우 효율적이고 구현 가능한 방법임을 입증한다.