[논문 리뷰] Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning

Zhaojiang Lin, Andrea Madotto외 1명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 48인용 수 4

한 줄 요약

이 논문은 잔차 어댑터 레이어와 작업 임베딩을 사용하여, 하나의 사전 훈련된 생성 언어 모델(예: GPT-2)을 동시에 여러 하류 언어 생성 작업에 효율적으로 적응시키는 파rameter 효율적인 방법을 제안한다. 각 작업당 추가로 2–3%의 작업 전용 파라미터만 추가함으로써, 전체 미세조정 성능과 동등하거나 이를 초월하는 성능을 달성하며, 장치 내에서의 효율적 구현이 가능하다.

ABSTRACT

Fine-tuning pre-trained generative language models to down-stream language generation tasks has shown promising results. However, this comes with the cost of having a single, large model for each task, which is not ideal in low-memory/power scenarios (e.g., mobile). In this paper, we propose an effective way to fine-tune multiple down-stream generation tasks simultaneously using a single, large pre-trained model. The experiments on five diverse language generation tasks show that by just using an additional 2-3% parameters for each task, our model can maintain or even improve the performance of fine-tuning the whole model.

연구 동기 및 목표

• 특정 하류 언어 생성 작업마다 별도의 대규모 모델을 미세조정하는 데 드는 비효율성을 해결하기 위해, 특히 메모리가 제한된 환경에서의 효율성을 높이기 위해.
• 백본을 재학습하지 않고도 하나의 사전 훈련된 언어 모델이 동적으로 여러 다양하고 다른 생성 작업을 지원할 수 있도록 하기 위해.
• 성능을 유지하거나 향상시키면서도 파라미터 업데이트를 최소화하는 파라미터 효율적인 미세조정 기법을 탐색하기 위해.
• 파라미터 효율적 적응에서 다중 작업 학습(MT)과 계속 학습(CL) 설정 간의 성능 상호 교환 관계를 평가하기 위해.

제안 방법

• 각 트랜스포머 블록 뒤에 작업 전용 어댑터로 사용할 잔차 어댑터 레이어를 도입하며, 주 모델의 훈련 중에 가중치를 동결한 채로 학습 가능한 파라미터를 유지한다.
• 작업 임베딩을 사용하여 어댑터 레이어를 조절함으로써, 모델이 각 작업에 따라 동적으로 생성 행동을 적응시킬 수 있도록 한다.
• 전체 미세조정된 모델에서 어댑터 전용 모델로 지식을 전이하기 위해 지식 정복(Knowledge Distillation)을 적용하여 성능을 향상시킨다.
• 일반화 능력과 치명적 기억 상실(catastrophic forgetting)을 비교하기 위해 다중 작업 학습(MT)과 계속 학습(CL) 설정을 모두 사용하여 훈련한다.
• 사전 훈련된 언어 모델의 가중치를 동결하고, 어댑터 및 작업 임베딩 파라미터만 미세조정하여 메모리 및 계산 비용을 절감한다.
• 요약, 기계 번역, 대화 생성, 대화형 QA, 작업 지향적 자연어 생성 등 다섯 가지 다양한 작업에 대해 공통의 백본(예: GPT-2)을 사용한다.

실험 결과

연구 질문

• RQ1 작업 전용 파라미터 수를 극히 적게 사용하여 하나의 사전 훈련된 언어 모델을 다양한 언어 생성 작업에 효과적으로 적응시킬 수 있는가?
• RQ2 여러 언어 생성 작업 전반에 걸쳐 파라미터 효율적 적응의 성능이 전체 미세조정과 비교해 어떻게 되는가?
• RQ3 다중 작업 학습과 계속 학습 환경에서 언어 모델 가중치를 동결하는 것과 미세조정하는 것의 영향은 어떠한가?
• RQ4 지식 정복이 어댑터 기반 모델의 성능 향상에 얼마나 효과적인가?
• RQ5 작업 임베딩이 모델의 생성 출력을 특정 작업 전용 행동으로 효과적으로 이끌 수 있는가?

주요 결과

• 제안된 방법은 다섯 가지 다양한 언어 생성 작업에서 평균 57.97 BLEU/F1 성능을 달성하여, 전체 미세조정(57.77)을 능가하고 기존 SOTA 결과와 동등하거나 이를 초월하며, 기본 모델의 1.13배의 파라미터만 추가로 사용한다.
• 각 작업당 어댑터와 작업 임베딩을 통해 추가로 2–3%의 파라미터만 추가함으로써 전체 미세조정과 동등하거나 이를 초월하는 성능을 유지하거나 향상시켜, 높은 파라미터 효율성을 입증한다.
• 지식 정복과 어댑터를 적용한 모델(VLM)은 요약 작업에서 24.19 ROUGE-2와 67.1 F1 성능을 기록하여, 전체 미세조정(25.45 ROUGE-2, 66.4 F1)과 SOTA 시스템을 모두 능가한다.
• 작업 임베딩을 제거하면 성능에 심각한 하락이 발생함(예: 평균 점수 47.25), 이는 작업 전용 적응에서 작업 임베딩의 핵심적 역할을 입증한다.
• 계속 학습(CL)으로 훈련한 모델는 일부 설정에서 다중 작업 학습(MT)보다 더 우수한 일반화 능력을 보이며, 이는 CL이 순차적 작업 배포에 더 적합함을 시사한다.
• 대화 생성 작업에서 CoQA에서 66.2 F1 성능을 기록하여 SOTA 시스템(66.2)과 동일하고, 참조 인간 성능과도 일치하며, 더 적은 파라미터를 사용함에도 불구하고 성능을 달성했다.