[논문 리뷰] Reducing Retraining by Recycling Parameter-Efficient Prompts

Brian Lester, Joshua Yurtsever외 2명|arXiv (Cornell University)|2022. 08. 10.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소프트 프롬프트를 원본 고정된 대규모 언어 모델(LM)에서 새로운 타겟 LM으로 재학습 없이 이전하는 방법인 프롬프트 리사이클링을 제안한다. 이는 모델 임bedding 간의 구조적 대응 관계를 활용한다. 최고의 방법은 타겟 모델의 제로샷 성능을 뛰어넘는 프롬프트를 88.9%의 성공률로 재사용한다. 다만, 처음부터 프롬프트를 피니어튜닝한 경우에 비해 여전히 성능이 뒤지며, 향상 여지가 크다.

ABSTRACT

Parameter-efficient methods are able to use a single frozen pre-trained large language model (LLM) to perform many tasks by learning task-specific soft prompts that modulate model behavior when concatenated to the input text. However, these learned prompts are tightly coupled to a given frozen model -- if the model is updated, corresponding new prompts need to be obtained. In this work, we propose and investigate several approaches to "Prompt Recycling'" where a prompt trained on a source model is transformed to work with the new target model. Our methods do not rely on supervised pairs of prompts, task-specific data, or training updates with the target model, which would be just as costly as re-tuning prompts with the target model from scratch. We show that recycling between models is possible (our best settings are able to successfully recycle $88.9\%$ of prompts, producing a prompt that out-performs baselines), but significant performance headroom remains, requiring improved recycling techniques.

연구 동기 및 목표

• 고정된 대규모 언어 모델이 업데이트될 때마다 소프트 프롬프트를 재학습하는 데 드는 비용과 시간을 줄이기 위해.
• 작업별 데이터나 모델 업데이트 없이 소스 LLM에서 새로운 타겟 LLM으로 작업 지향 프롬프트를 이전할 수 있도록 하기 위해.
• 모델 간의 구조적 유사성을 활용해 프롬프트를 변환하면서도 작업 성능을 유지할 수 있는지 탐색하기 위해.
• 다양한 모델 크기와 아키텍처에서 프롬프트 리사이클링의 타당성과 효율성을 평가하기 위해.

제안 방법

• 소스 모델과 타겟 모델의 단어 임베딩 간의 대응 관계를 기반으로 학습된 변환을 사용하여 소스 모델의 소프트 프롬프트를 타겟 모델에 적합한 프롬프트로 매핑한다.
• 특히 토큰 표현이 모델 간 어떻게 정렬되는지에 중점을 두어, 어텐션 레이어와 임베딩 공간 간의 구조적 유사성에 의존한다.
• 세 가지 리사이클링 기법을 제안한다: 선형 투영, 잔차 어댑터, 그리고 클래스별 초기화와 SPoT(Sparse Prompt Tuning)를 활용한 방법으로 정렬을 향상시킨다.
• 쌍체 프롬프트, 작업별 데이터, 타겟 모델의 피니어튜닝이 필요 없어 계산 효율성이 유지된다.
• SST-2와 IMDB와 같은 다운스트림 작업에서 재사용된 프롬프트를 제로샷 및 무작위 프롬프트 기준과 비교하여 성능을 평가한다.
• 모델 크기의 다양성에 따라 테스트를 수행하며, 큰 모델에서 작은 모델으로(예: Large → Base)와 반대로 작은 모델에서 큰 모델로(예: Base → Large)의 리사이클링을 모두 검토한다.

실험 결과

연구 질문

• RQ1 원본 고정된 LLM에서 학습된 소프트 프롬프트를 재학습 없이 새로운 타겟 LLM으로 효과적으로 이전할 수 있는가?
• RQ2 재사용된 프롬프트의 성능이 타겟 모델의 제로샷 성능을 뛰어넘는가?
• RQ3 소스 모델과 타겟 모델의 크기가 리사이클링의 신뢰성과 성능에 어떤 영향을 미치는가?
• RQ4 작업별 데이터 없이도 모델 간의 구조적 대응 관계를 활용해 효과적인 프롬프트 변환을 만들 수 있는가?
• RQ5 큰 모델에서 작은 모델으로, 또는 반대로 작은 모델에서 큰 모델로 이전할 때 리사이클링이 더 효과적인가?

주요 결과

• 최고의 리사이클링 방법은 타겟 모델의 제로샷 성능을 뛰어넘는 프롬프트를 88.9%의 성공률로 재사용한다.
• 더 큰 소스 모델(Large)에서 더 작은 타겟 모델(Base)로 리사이클링할 경우, 같은 크기의 모델 간 리사이클링보다 더 신뢰성 있고 높은 성능의 프롬프트를 얻는다.
• Base에서 Large로의 리사이클링은 불안정하며, 변동성이 크고 특히 IMDB에서 랜덤 프롬프트보다 성능이 떨어지는 경우가 많다.
• Large에서 Base로 리사이클링된 프롬프트는 제로샷 및 랜덤 프롬프트 기준보다 뛰어난 성능을 보이며, 지식 전달 유사한 전이 가능성 잠재력을 보여준다.
• 재사용된 프롬프트의 성능는 타겟 모델에서 처음부터 피니어튜닝된 프롬프트의 성능에 비해 여전히 크게 뒤져, 향상 여지가 크다는 것을 시사한다.
• 리사이클링 성공률는 프롬프트의 학습 방식과 관련이 있다. 더 큰 모델에서 학습된 프롬프트일수록 더 재사용 가능하며, 일반화나 지식 인코딩 측면에서 우수할 가능성이 있다.