[논문 리뷰] PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation

Qihuang Zhong, Liang Ding외 3명|arXiv (Cornell University)|2022. 08. 22.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

PANDA는 소형 및 대형 사전 훈련된 언어 모델에서 소수의 예제를 사용한 프롬프트 튜닝 성능을 향상시키기 위해 새로운 작업 유사도 메트릭과 지식 정착을 결합한 새로운 프롬프트 전이 방법을 제안한다. 의미적 작업 임베딩을 사용해 전이를 안내하고, 소스 프롬프트에서 타겟 프롬프트로 지식을 정착시킴으로써, 전체 미세조정 성능과 맞먹거나 이를 초월하는 성능을 달성한다. 189개의 작업 쌍에 걸쳐 평균 2.3% 향상된 성능을 보이며, 기존의 순수한 프롬프트 전이보다 뛰어나다.

ABSTRACT

Prompt Transfer (PoT) is a recently-proposed approach to improve prompt-tuning, by initializing the target prompt with the existing prompt trained on similar source tasks. However, such a vanilla PoT approach usually achieves sub-optimal performance, as (i) the PoT is sensitive to the similarity of source-target pair and (ii) directly fine-tuning the prompt initialized with source prompt on target task might lead to forgetting of the useful general knowledge learned from source task. To tackle these issues, we propose a new metric to accurately predict the prompt transferability (regarding (i)), and a novel PoT approach (namely PANDA) that leverages the knowledge distillation technique to alleviate the knowledge forgetting effectively (regarding (ii)). Extensive and systematic experiments on 189 combinations of 21 source and 9 target datasets across 5 scales of PLMs demonstrate that: 1) our proposed metric works well to predict the prompt transferability; 2) our PANDA consistently outperforms the vanilla PoT approach by 2.3% average score (up to 24.1%) among all tasks and model sizes; 3) with our PANDA approach, prompt-tuning can achieve competitive and even better performance than model-tuning in various PLM scales scenarios. We have publicly released our code in https://github.com/WHU-ZQH/PANDA.

연구 동기 및 목표

• 소형 사전 훈련된 언어 모델(PLM)에서 프롬프트 튜닝 성능이 전체 미세조정에 뒤지므로 이를 해결한다.
• 기본 프롬프트 전이(PoT)의 두 가지 핵심 한계인 소스-타겟 작업 유사도에 대한 민감성과 소스 지식의 치명적 상실을 극복한다.
• 프롬프트 파라미터 유사도가 아닌 의미적 작업 임베딩을 기반으로 프롬프트 전이 가능성 예측을 위한 신뢰할 수 있는 메트릭을 개발한다.
• 지식 정착 기반의 프롬프트 전이 기법을 설계하여 소스 프롬프트에서 타겟 프롬프트로 지식을 미세하게 전이하고, 지식 상실을 방지한다.
• 제안된 메트릭을 동적 균형 요소로 사용해 지표값과 소프트 레이블 감독 사이의 균형을 적응적으로 조정함으로써 적응형 프롬프트 전이를 가능하게 한다.

제안 방법

• 소스 및 타겟 작업을 소프트 프롬프트를 사용해 공통적인 의미 공간에 매핑하고, 작업 임베딩 간의 유사도를 계산함으로써 새로운 프롬프트 전이 가능성 메트릭을 제안한다.
• 지식 정착을 사용하는 프롬프트 전이 프레임워크인 PANDA를 도입한다: 소스 프롬프트는 교사 모델이 되고, 무작위로 초기화된 타겟 프롬프트는 학생 모델이 된다.
• 학생 프롬프트는 지표값 레이블과 교사 네트워크가 예측한 소프트 레이블을 모두 사용해 훈련되며, 오직 학생 프롬프트 파라미터만 업데이트된다.
• 예측된 프롬프트 전이 가능성 점수를 가중치 요소로 사용해 두 가지 감독 신호(지표값 및 소프트 레이블)를 동적으로 균형 조절한다.
• 여러 PLM 크기(비트-티니에서 대형 모델까지)와 21개의 소스 및 9개의 타겟 데이터셋을 활용해 일반화 능력을 평가한다.
• 모든 작업에 대해 공통 인코더를 사용하고, 모든 PLM 파라미터를 동결하며, 각 작업에 대해 오직 소프트 프롬프트만 튜닝한다.

실험 결과

연구 질문

• RQ1 기존의 프롬프트 파라미터 유사도에 의존하는 방법과 비교해 의미 기반 메트릭이 프롬프트 전이 가능성 예측에 더 우수한가?
• RQ2 프롬프트 전이에서 지식 정착이 새로운 작업에 대한 미세조정 중 치명적 상실을 효과적으로 줄이는가?
• RQ3 제안된 PANDA 프레임워크가 다양한 PLM 크기에서 전체 파라미터 미세조정(모델 튜닝)과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 PANDA는 다양한 NLP 작업과 모델 스케일에서 기존의 순수한 프롬프트 전이 및 표준 미세조정과 비교해 어떻게 성능을 내는가?
• RQ5 전이 가능성 메트릭이 각 소스-타겟 쌍에 대해 지식 정착 강도를 동적으로 조절함으로써 적응형 프롬프트 전이를 가능하게 하는가?

주요 결과

• 제안된 프롬프트 전이 가능성 메트릭은 기존 방법(예: 프롬프트 임베딩의 코사인 유사도)보다 효과적인 소스-타겟 작업 쌍 예측에 뚜렷한 승리함.
• PANDA는 모든 189개의 작업 조합과 모든 PLM 크기에서 순수한 프롬프트 전이(SPoT)보다 평균 2.3% 향상되며, 특정 작업에서는 최대 24.1% 향상됨.
• PANDA를 사용하면 소형 모델인 BERT-tiny를 포함한 모든 PLM 스케일에서 전체 모델 튜닝 성능과 맞먹거나 이를 초월하는 프롬프트 튜닝 성능을 달성함.
• 제거 실험 결과, 전이 가능성 메트릭과 지식 정착이 모두 필수적인 구성 요소임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하 발생.
• BERT-small에서 PANDA는 SuperGLUE 평균 점수 68.3%를 기록하여 SPoT(66.1%)를 초월하고, 모델 튜닝 성능에 가까워짐.
• GLUE, SuperGLUE, 명명된 실체 인식 작업(예: CoNLL04 등)을 포함한 다양한 NLP 벤치마크에서 잘 일반화되며, 강건성과 확장성 입증.