[논문 리뷰] Two-stage LLM Fine-tuning with Less Specialization and More Generalization

Yihan Wang, Si Si외 6명|arXiv (Cornell University)|2022. 11. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 소프트 프롬프트를 먼저 튜닝하여 작업별 형식을 흡수한 후 메인 모델 가중치를 업데이트함으로써, 튜닝된 LLM에서 형식 특화를 줄이는 두 단계적 피니테이닝 프레임워크인 ProMoT를 제안한다. 실험 결과, ProMoT는 튜닝된 작업에서 비교 가능한 성능를 달성하면서도 다양한 도메인 외 작업에 대한 인라인 학습 일반화 능력을 크게 향상시켰으며, 특히 NLI 튜닝 이후 요약 작업과 같은 의미적으로 관련된 작업에서 성능 향상을 보였다.

ABSTRACT

Pretrained large language models (LLMs) are general purpose problem solvers applicable to a diverse set of tasks with prompts. They can be further improved towards a specific task by fine-tuning on a specialized dataset. However, fine-tuning usually makes the model narrowly specialized on this dataset with reduced general in-context learning performances, which is undesirable whenever the fine-tuned model needs to handle additional tasks where no fine-tuning data is available. In this work, we first demonstrate that fine-tuning on a single task indeed decreases LLMs' general in-context learning performance. We discover one important cause of such forgetting, format specialization, where the model overfits to the format of the fine-tuned task.We further show that format specialization happens at the very beginning of fine-tuning. To solve this problem, we propose Prompt Tuning with MOdel Tuning (ProMoT), a simple yet effective two-stage fine-tuning framework that reduces format specialization and improves generalization.ProMoT offloads task-specific format learning into additional and removable parameters by first doing prompt tuning and then fine-tuning the model itself with this soft prompt attached. With experiments on several fine-tuning tasks and 8 in-context evaluation tasks, we show that ProMoT achieves comparable performance on fine-tuned tasks to standard fine-tuning, but with much less loss of in-context learning performances across a board range of out-of-domain evaluation tasks. More importantly, ProMoT can even enhance generalization on in-context learning tasks that are semantically related to the fine-tuned task, e.g. ProMoT on En-Fr translation significantly improves performance on other language pairs, and ProMoT on NLI improves performance on summarization. Experiments also show that ProMoT can improve the generalization performance of multi-task training.

연구 동기 및 목표

• 튜닝된 LLM에서의 과도한 특화 문제를 해결함으로써, 새로운 작업에서 일반적인 인라인 학습 성능이 저하되는 것을 방지하기 위해.
• 특정 입력/출력 형식에 과도하게 피팅되는 형식 특화가 피니테이닝 중 일반화 능력 손실의 주요 원인인지 조사하기 위해.
• 튜닝된 작업에서 뛰어난 성능를 달성하면서도 일반화 능력을 유지하는 방법을 개발하기 위해.
• 소프트 프롬프트에 형식 학습을 위임함으로써 일반화 능력 향상이 가능하며, 의미적으로 관련된 작업(예: NLI 튜닝 이후 요약 성능 향상)에서 성능 향상이 이루어질 수 있음을 보여주기 위해.

제안 방법

• 사전 학습된 LLM은 동결된 상태에서 소프트 프롬프트가 작업별 데이터에 대해 튜닝되어, 모델의 가중치를 업데이트하지 않고도 작업 형식을 학습할 수 있도록 한다.
• 소프트 프롬프트는 동결된 상태에서 메인 LLM 가중치가 소프트 프롬프트를 연결한 채로 튜닝되어, 의미적 내용을 학습하면서도 형식에 의존하지 않는 표현을 유지할 수 있도록 한다.
• 소프트 프롬프트는 제거 가능한 작업별 어댑터 역할을 하여 형식 전용 패턴을 흡수함으로써, 모델의 일반적인 인라인 학습 능력에 간섭을 줄인다.
• 추론 시, 입력 작업의 형식이 다를 경우 소프트 프롬프트를 제거할 수 있어 도메인 외 작업으로의 일반화가 가능해진다.
• 이 프레임워크는 단일 작업 및 다중 작업 설정 모두에 적용 가능하며, 1-샷 프롬프트를 통한 인라인 학습과도 조합할 수 있다.
• 이 방법은 NLI, 번역, 요약 등 여러 NLP 작업에서 인라인 희소 평가를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 단일 작업에 대해 튜닝하면 도메인 외 작업에서 LLM의 인라인 학습 성능이 떨어지는가?
• RQ2 특정 입력/출력 형식에 과도하게 피팅되는 형식 특화가 피니테이닝 중 일반화 능력 저하의 주요 원인인가?
• RQ3 모델 튜닝 이전에 소프트 프롬프트에 형식 학습을 위임함으로써 특화를 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ4 형식이 다른 의미적으로 관련된 작업(예: NLI 튜닝 이후 요약)에서 ProMoT가 일반화 능력을 향상시키는가?
• RQ5 표준 다중 작업 튜닝 대비 ProMoT가 다중 작업 튜닝의 일반화 능력을 향상시키는가?

주요 결과

• 단일 작업에 대해 튜닝하면 새로운 작업에서 인라인 학습 성능가 유의미하게 저하되며, mT5는 1,000개의 튜닝 스텝 이내에 희소 학습 성능를 상실한다.
• 형식 특화는 튜닝 초기에 발생하며 일반화 능력 저하의 주요 원인이다. 모델이 'True'/'False'와 같은 특정 출력 형식에 과도하게 피팅되기 때문이다.
• ProMoT는 튜닝된 작업에서 표준 튜닝과 비교해 유사한 성능를 달성하지만(예: RTE에서 93.14점 vs. 표준 튜닝 93.14점), 도메인 외 작업에서 훨씬 뛰어난 인라인 학습 성능를 유지한다.
• NLI에서 튜닝한 후 ProMoT는 사전 학습된 모델 대비 인라인 요약 성능를 8.65% 향상시켜 의미적으로 관련된 작업에서의 일반화 능력 향상을 입증했다.
• 다중 작업 학습에서 ProMoT는 표준 다중 작업 튜닝 대비 8.35% 향상된 정규화된 평균 성능를 기록했으며, 표준 튜닝 대비 5.10% 향상된 성능를 보였다. 이는 도메인 외 1-샷 작업에서의 성능 향상을 의미한다.
• 제거 실험 결과, 두 단계 튜닝 과정이 필수적임을 확인했다. 동시 튜닝이나 무작위 프롬프트는 형식 특화를 완화하지 못했으며, 소프트 프롬프트가 자연어 프롬프트보다 특화를 줄이는 데 더 효과적임을 입증했다.