[논문 리뷰] LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based on Prompt Tuning of T5

Chengwei Qin, Shafiq Joty|arXiv (Cornell University)|2021. 10. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 33

한 줄 요약

LFPT5는 사전 학습된 T5 모델을 고정하고 조정 가능한 프롬프트 임베딩을 사용해 도메인 및 작업 타입 간의 라이프슬로우(오류) 소수-shot NLP 태스크를 해결하며, 가짜 샘플을 생성하고 라벨 일관성을 강제해 망각을 완화한다; NER, 분류, 요약에서 강력한 결과를 달성한다.

ABSTRACT

Existing approaches to lifelong language learning rely on plenty of labeled data for learning a new task, which is hard to obtain in most real scenarios. Considering that humans can continually learn new tasks from a handful of examples, we expect the models also to be able to generalize well on new few-shot tasks without forgetting the previous ones. In this work, we define this more challenging yet practical problem as Lifelong Few-shot Language Learning (LFLL) and propose a unified framework for it based on prompt tuning of T5. Our framework called LFPT5 takes full advantage of PT's strong few-shot learning ability, and simultaneously trains the model as a task solver and a data generator. Before learning a new domain of the same task type, LFPT5 generates pseudo (labeled) samples of previously learned domains, and later gets trained on those samples to alleviate forgetting of previous knowledge as it learns the new domain. In addition, a KL divergence loss is minimized to achieve label consistency between the previous and the current model. While adapting to a new task type, LFPT5 includes and tunes additional prompt embeddings for the new task. With extensive experiments, we demonstrate that LFPT5 can be applied to various different types of tasks and significantly outperform previous methods in different LFLL settings.

연구 동기 및 목표

• 실용적이고 도전적인 설정으로서 도메인(동일한 태스크)과 작업 유형(다른 태스크) 변형을 결합한 라이프롱 소수샷 언어학습(LFLL)을 정의한다.
• 동결된 T5 백본의 프롬프트 튜닝을 활용해 태스크 해결사이자 데이터 생성기로 작동하는 통합 프레임워크 LFPT5를 제안한다.
• 이전 학습 도메인의 가짜 샘플을 재생하고 KL 발산으로 라벨 일관성을 강제하여 재앙적 망각을 완화한다.
• few-shot 구간에서 시퀀스 라벨링, 텍스트 분류, 텍스트 생성에 대한 LFPT5의 효과를 입증한다.
• 재현성과 더 넓은 활용을 위해 LFPT5 코드베이스를 오픈소스로 제공한다.

제안 방법

• 모든 태스크를 T5를 고정된 백본으로 텍스트-투-텍스트 형식으로 재정의한다.
• 새로운 태스크에 적응하기 위해 태스크 또는 도메인별로 학습된 프롬프트 임베딩 P를 사용하되 T5는 고정한다.
• 새로운 도메인을 학습할 때 이전 도메인에서 가짜 라벨이 있는 샘플을 생성하고 이를 새로운 도메인 데이터와 결합하여 망각을 줄인다.
• 가짜 샘플에 대한 라벨 일관성을 확보하기 위해 이전 모델 출력과 현재 모델 출력 간의 KL 발산 손실을 최소화한다.
• 새로운 작업 유형에 적응할 때, 이전 임베딩은 고정하고 새로운 작업에 대해 새로운 프롬프트 임베딩 세트를 추가·훈련하여 작업 프롬프트를 동적으로 확장한다.
• TASK 손실(Y|X)과 생성된 가짜 샘플에 대한 LM 손실을 사용하고 이를 L_phi = L_phi^{task} + lambda_lm * L_phi^{lm}으로 결합하며, KL 정규화는 lambda_kl * L_phi^{KL}으로 적용한다.

실험 결과

연구 질문

• RQ1 LFPT5가 같은 도메인 내 도메인 시프트와 다른 작업 유형 간의 새로운 few-shot 태스크에 대해 재앙적 망각 없이 일반화할 수 있는가?
• RQ2 가짜 샘플 생성과 라벨 일관성 KL 발산이 LFLL에서 이전 지식의 보유를 크게 향상시키는가?
• RQ3 강력한 기준선과 비교할 때 LFPT5가 NER, 텍스트 분류, 텍스트 생성에서 few-shot 설정에서 어떤 성능을 보이나?
• RQ4 작업 유형 간의 순방향 지식 전이가 LFLL에서 새로운 태스크 학습에 어떤 영향을 미치는가?

주요 결과

• LFPT5는 NER, 분류 및 요약에서 소수-shot 설정으로 이전의 라이프롱 학습 기준선을 크게 능가한다.
• LFPT5의 프롬프트 튜닝은 강력한 소수-shot 성능을 달성하고 EWC, MAS와 같은 정규화 기반 기준선보다 망각을 더 잘 완화한다.
• 가짜 샘플을 생성하고 KL 발산 라벨 일관성 손실을 적용하면 도메인 확장 시 이전에 학습된 지식의 보유가 크게 향상된다.
• 새 작업 유형을 학습할 때 LFPT5의 작업별 프롬프트 엔트리는 T5 매개변수의 약 0.04% 정도만 필요하므로 매개변수 효율성을 강조한다.
• 전방 지식 전달이 가능한 LFPT5 변형은 작업 순서에 따라 학습에 도움을 주거나 방해할 수 있지만, 전반적으로 다중 작업 유형 학습에서 다른 방법들보다 우수하다.
• LFPT5의 가짜 데이터 품질은 기억형 재생을 지원할 만큼 충분하지만 생성된 라벨은 잘못될 수 있어 가짜 샘플의 신뢰성 향상 여지가 있다.