[논문 리뷰] MetaPrompting: Learning to Learn Better Prompts

Yutai Hou, Hongyuan Dong외 3명|arXiv (Cornell University)|2022. 09. 23.

Topic Modeling인용 수 13

한 줄 요약

MetaPrompting는 소프트 프롬프트의 일반적이고 태스크에 관계없는 초기화를 자동으로 학습하는 메타학습 프레임워크를 제안하며, 희소한 NLP 환경에서 적응 속도와 정확도를 크게 향상시킨다. 최적화 기반 메타학습(예: MAML++)을 활용하여 네 가지 데이터셋에서 1-샷 설정에서 7점 이상의 정확도 향상을 기록하며 최신 기술 수준에 도달한다.

ABSTRACT

Prompting method is regarded as one of the crucial progress for few-shot nature language processing. Recent research on prompting moves from discrete tokens based ``hard prompts'' to continuous ``soft prompts'', which employ learnable vectors as pseudo prompt tokens and achieve better performance. Though showing promising prospects, these soft-prompting methods are observed to rely heavily on good initialization to take effect. Unfortunately, obtaining a perfect initialization for soft prompts requires understanding of inner language models working and elaborate design, which is no easy task and has to restart from scratch for each new task. To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.

연구 동기 및 목표

• 자원이 제한된 희소한 메타학습 환경에서 소프트 프롬프트 방법의 초기화에 대한 민감성을 해결한다.
• 일반적인 초기화를 학습하여 태스크에 특화된 수동적 프롬프트 엔지니어링의 필요성을 줄인다.
• 다양한 최종 NLP 태스크에 걸쳐 소프트 프롬프트의 빠른 적응성과 강건성을 향상시킨다.
• 새로운 타겟 태스크로의 전이 가능성을 보장하며, 다시 시작하지 않고도 재학습 없이 메타지식을 전이할 수 있도록 한다.
• 실제 배포 환경에서 다양한 프롬프트 템플릿이나 형태로 인한 성능 변동성을 완화한다.

제안 방법

• 다양한 소스 태스크에 걸쳐 공통된 초기화를 학습하기 위해 모델에 종속적이지 않은 메타학습(MAML, Reptile 등)을 채택한다.
• 메타학습 루프를 통해 소수의 태스크 분포에서 모델을 최적화하여, 신속한 적응을 가능하게 하는 파라미터 초기화를 찾는다.
• 메타테스팅 중에 새로운 태스크에서 소프트 프롬프트 벡터의 시작점으로 메타학습된 초기화(ϕ_meta)를 적용한다.
• 적응 과정에서 기울기 기반 최적화를 사용하여 소프트 프롬프트 파라미터를 업데이트하며, 메타초기화가 더 빠른 수렴을 이끌도록 이끈다.
• 연속적인 소프트 프롬프트와 메타학습을 통합하여 다양한 소스 태스크에서 학습하고, 예측되지 않은 타겟으로 일반화할 수 있도록 한다.
• MSLB 기법을 적용한 MAML++을 사용하여 훈련을 안정화시키고 표준 MAML 및 Reptile 버전보다 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 메타학습은 희소한 NLP 환경에서 소프트 프롬프트 초기화 문제에 효과적으로 적용될 수 있는가?
• RQ2 무작위 또는 히우리스틱 초기화보다 메타학습된 초기화가 새로운 희소한 NLP 태스크에서 더 빠르고 정확한 적응을 이끌 수 있는가?
• RQ3 다양한 데이터셋에서 프롬프트 템플릿이나 프롬프트 형태의 변화에 대해 MetaPrompting는 얼마나 강건한가?
• RQ4 소스 태스크에서 학습된 메타지식은 제로샷 또는 희소한 설정에서 예측되지 않은 타겟 태스크로 효과적으로 일반화될 수 있는가?
• RQ5 소프트 프롬프트 튜닝에 적용했을 때, 다양한 메타학습 알고리즘(MAML++, Reptile 등)의 성능 및 안정성은 어떻게 비교되는가?

주요 결과

• MetaPrompting는 네 가지 데이터셋에서 1-샷 설정에서 표준 소프트 프롬프팅 대비 평균 7.1점의 정확도 향상을 기록한다.
• 아마존 데이터셋에서 MetaPrompting는 MAML++를 사용해 1-샷 학습에서 71.93%의 정확도를 달성했으며, 베이스라인보다 7점 이상 높다.
• MetaPrompting는 다양한 프롬프트 템플릿에 따른 성능 변동을 줄였으며, 1-샷 설정에서 허프포스트 데이터셋에서 표준편차가 ±0.23(비교 기준 ±3.46)로 나타났다.
• MetaPrompting는 모든 평가된 데이터셋과 희소한 설정에서 강력한 메타학습 베이스라인인 Reptile와 FOMAML을 일관되게 능가한다.
• 메타학습된 초기화는 적응 과정에서 더 빠른 수렴을 가능하게 하며, 학습 동적 곡선에서 더 급격하고 낮은 적응 손실 곡선을 통해 이를 입증한다.
• MSLB 기법을 적용한 MAML++가 최고의 성능을 보였고, Reptile는 대규모 언어 모델 튜닝에서의 불안정성으로 인해 성능이 열 劣하다.