[논문 리뷰] Learning to Prompt for Continual Learning

Zifeng Wang, Zizhao Zhang외 8명|arXiv (Cornell University)|2021. 12. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 순차적 작업에서 고정된 사전 학습 모델을 동적으로 지시하기 위해 가속 가능한 프롬프트 풀을 사용하는 새로운 지속 학습 방법인 L2P를 제안한다. 이 방법은 테스트 시 재현 버퍼나 작업 정체성을 필요로 하지 않으며, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 작업에 관계없이 적용 가능한 설정에서도 성능을 냉각시키지 않고, 질의 기반의 프롬프트 선택 기반으로 작업에 관계없는 지식과 작업별 지식을 동시에 최적화함으로써 성능을 높인다.

ABSTRACT

The mainstream paradigm behind continual learning has been to adapt the model parameters to non-stationary data distributions, where catastrophic forgetting is the central challenge. Typical methods rely on a rehearsal buffer or known task identity at test time to retrieve learned knowledge and address forgetting, while this work presents a new paradigm for continual learning that aims to train a more succinct memory system without accessing task identity at test time. Our method learns to dynamically prompt (L2P) a pre-trained model to learn tasks sequentially under different task transitions. In our proposed framework, prompts are small learnable parameters, which are maintained in a memory space. The objective is to optimize prompts to instruct the model prediction and explicitly manage task-invariant and task-specific knowledge while maintaining model plasticity. We conduct comprehensive experiments under popular image classification benchmarks with different challenging continual learning settings, where L2P consistently outperforms prior state-of-the-art methods. Surprisingly, L2P achieves competitive results against rehearsal-based methods even without a rehearsal buffer and is directly applicable to challenging task-agnostic continual learning. Source code is available at https://github.com/google-research/l2p.

연구 동기 및 목표

• 테스트 시 재현 버퍼나 알려진 작업 정체성이 없는 지속 학습에서 치명적인 잊음(catastrophic forgetting)을 해결하는 것.
• 데이터 버퍼링보다 더 효율적으로 지식을 저장하는 간결하고 지능적인 에피소딕 메모리 시스템을 개발하는 것.
• 다양한 작업 간의 효과적인 지식 전이와 간섭 최소화를 통해 순차적 학습에서 성능을 높이는 것.
• 단일 고정된 백본 모델이 동적이고 인스턴스 기반의 프롬프트 선택을 통해 새로운 작업에 적응할 수 있도록 프롬프트 기반 프레임워크를 설계하는 것.
• 작업 경계가 알려지지 않은 인fer 중에 작업에 관계없이 적용 가능한 지속 학습에서의 효과성을 입증하는 것.

제안 방법

• L2P는 각각 작업별 또는 공통 지식을 인코딩하는 가속 가능한 파라미터로 구성된 공통 프롬프트 풀을 유지한다.
• 입력 특징에 기반해 가속 가능한 키를 사용해 검색을 이끄는 질의 기반 메커니즘이 프롬프트의 부분 집합을 동적으로 선택한다.
• 감독 손실과 함께 프롬프트 풀을 공동 최적화함으로써, 작업에 관계없는 지식과 작업별 지식을 동시에 학습할 수 있도록 한다.
• 프롬프트는 입력 임bedding 앞에 삽입되어 고정된 백본의 예측을 안내하는 조건부 지시로 작용한다.
• 다양한 프롬프트 선택 전략은 서로 관련이 없는 작업 간의 간섭을 줄이기 위해 교차 작업 프롬프트 공유를 제한함으로써 성능 향상을 이룬다.
• 키-밸류 메모리 구조를 사용하며, 키는 가속 가능하고 입력 특징에 기반해 관련 프롬프트를 검색하는 데 사용된다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 메모리 시스템이 전통적인 재현 버퍼를 대체할 수 있을까? 성능을 유지할 수 있는가?
• RQ2 테스트 시 작업 정체성이 필요 없이, 동적이고 인스턴스 기반의 프롬프트 선택으로 단일 고정 모델을 효과적으로 이끌 수 있을까?
• RQ3 어떻게 프롬프트를 설계하여 작업에 관계없는 지식과 작업별 지식을 모두 인코딩함으로써 치명적인 잊음을 줄일 수 있을까?
• RQ4 프롬프트 기반 학습이 작업 경계가 알려지지 않은 작업에 관계없이 적용 가능한 지속 학습에 얼마나 일반화될 수 있을까?
• RQ5 프롬프트 풀 크기, 프롬프트 길이, 선택 크기와 같은 하이퍼파라미터가 모델 성능과 지식 유지에 어떤 영향을 미칠까?

주요 결과

• L2P는 재현 버퍼가 없는 설정을 포함한 표준 클래스 증가 및 도메인 증가 벤치마크에서 모든 이전 최신 기술 수준(SOTA) 방법을 능가한다.
• 작업에 관계없이 적용 가능한 설정에서는 재현 버퍼가 없는 상태에서 L2P가 가장 높은 성능을 기록했으며, 버퍼 기반 또는 작업 정체성에 의존하는 방법들을 능가한다.
• 프롬프트 풀을 제거하고 단일 프롬프트를 사용할 경우 성능이 크게 떨어지며, 이는 공통의 다중 프롬프트 메모리 시스템의 중요성을 확인한다.
• 프롬프트 검색 메커니즘에서 가속 가능한 키는 핵심적이다. 평균 프롬프트로 대체할 경우 성능이 저하되며, 이는 질의와 프롬프트 학습을 분리하는 데서 키의 역할을 확인한다.
• 다양한 프롬프트 선택 전략은 5개의 데이터셋과 같은 다양한 데이터셋에서 간섭을 줄여 성능 향상을 이룬다.
• 최적의 프롬프트 길이와 풀 크기는 매우 중요하다: 너무 짧은 프롬프트 길이는 성능에 악영향을 주며, 더 큰 풀 크기는 특히 작업이 다양한 경우 성능 향상에 기여한다.