[논문 리뷰] MVP: Multi-task Supervised Pre-training for Natural Language Generation

Tianyi Tang, Junyi Li외 2명|arXiv (Cornell University)|2022. 06. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자연어 생성(NLG)을 위한 MVP(Multi-task Supervised Pre-training)를 제안한다. 이는 11개의 NLG 작업에 걸쳐 77개의 데이터셋을 포함하는 대규모 통합 텍스트-투-텍스트 코퍼스에서 시퀀스-투-시퀀스 모델을 사전 훈련하는 방법이다. 작업별 소프트 프롬프트를 활용한 지도형 사전 훈련을 통해 MVP는 17개 벤치마크 데이터셋 중 13개에서 BART보다 9.3% 높고 Flan-T5보다 5.8% 높은 최신 기술 성능을 달성한다.

ABSTRACT

Pre-trained language models (PLMs) have achieved remarkable success in natural language generation (NLG) tasks. Up to now, most NLG-oriented PLMs are pre-trained in an unsupervised manner using the large-scale general corpus. In the meanwhile, an increasing number of models pre-trained with labeled data (i.e. "supervised pre-training") showcase superior performance compared to unsupervised pre-trained models. Motivated by the success of supervised pre-training, we propose Multi-task superVised Pre-training (MVP) for natural language generation. We collect a large-scale natural language generation corpus, MVPCorpus, from $77$ datasets over $11$ diverse NLG tasks. Then we unify these examples into a general text-to-text format to pre-train the text generation model MVP in a supervised manner. For each task, we further pre-train specific soft prompts to stimulate the model's capacity to perform a specific task. Our MVP model can be seen as a practice that utilizes recent instruction tuning on relatively small PLMs. Extensive experiments have demonstrated the effectiveness and generality of our MVP model in a number of NLG tasks, which achieves state-of-the-art performance on $13$ out of $17$ datasets, outperforming BART by $9.3\%$ and Flan-T5 by $5.8\%$.

연구 동기 및 목표

• 비지도 사전 훈련의 한계를 해결하기 위해, 이는 노이즈를 유발하고 지식 습득 속도를 저하시킬 수 있다.
• 초기 훈련 단계에서 레이블이 있는 데이터를 사용한 지도형 사전 훈련이 사전 훈련된 모델을 최종 NLG 작업에 더 잘 맞출 수 있는지 탐구한다.
• 다양한 텍스트 생성 작업 간에 효과적으로 일반화할 수 있는 일반 목적의 NLG 모델을 구축한다.
• 특정 NLG 작업을 위한 전용 지식을 캡처하고 저장하는 데에 작업별 소프트 프롬프트의 효과성을 조사한다.
• 미래의 지도형 사전 훈련 연구를 지원하기 위해 알려진 바에 비해 가장 큰 레이블이 붙은 NLG 데이터셋 컬렉션인 MVPCorpus를 구축하고 공개한다.

제안 방법

• 11개의 다양한 NLG 작업에서 유래한 77개의 데이터셋을 수집하고 통합하여, 작업별 지침을 포함한 표준화된 텍스트-투-텍스트 형식으로 MVPCorpus를 구축한다.
• Transformer 기반의 시퀀스-투-시퀀스 모델을 MVPCorpus에서 지도 학습을 통해 사전 훈련하여, 사전 훈련 단계에서 작업별 패턴을 직접 학습할 수 있도록 한다.
• 프리픽스-튜닝 방식의 메커니즘을 통해 작업별 소프트 프롬프트를 도입하여, 전체 미세조정 없이도 모델이 다양한 작업에 동적으로 적응할 수 있도록 한다.
• 11개의 모든 NLG 작업을 동시에 최적화하여 일반화 능력을 향상시키고 작업 간 간섭을 줄인다.
• 다양한 파라미터 효율적 튜닝(예: 프리픽스-튜닝)을 적용하여, 최종 작업에서의 제로샷 및 패기샷 능력을 평가한다.
• 사전 훈련의 호환성과 일관성을 확보하기 위해, 자연어 지시어를 사용해 모든 작업 간 입력-출력 형식을 표준화한다.

실험 결과

연구 질문

• RQ1 대규모 다중 작업 NLG 코퍼스에서의 지도형 사전 훈련이 비지도 사전 훈련보다 모델 성능을 향상시킬 수 있는가?
• RQ2 다양한 NLG 작업을 포함한 다중 작업 학습이 사전 훈련된 모델의 일반화 능력을 향상시키는가?
• RQ3 작업별 소프트 프롬프트가 개별 NLG 작업을 위한 특수 지식을 효과적으로 캡처하고 저장할 수 있는가?
• RQ4 MVP는 Flan-T5와 BART와 같은 최신 기술 모델과 비교해 전체 미세조정 및 파라미터 효율적 튜닝 환경에서 어떻게 성능을 내는가?
• RQ5 지도형 사전 훈련이 NLG에서 사전 훈련과 미세조정 간 도메인 간격을 어느 정도 줄이는가?

주요 결과

• MVP는 17개의 벤치마크 데이터셋 중 13개에서 최신 기술 성능을 달성하여 다양한 NLG 작업 간 강력한 일반화 능력을 보여준다.
• 전체 미세조정 설정에서 MVP는 17개 데이터셋 평균 성능에서 BART를 9.3% 뛰어넘는다.
• 파라미터 효율적 튜닝(예: 프리픽스-튜닝) 환경에서도 MVP는 BART를 4.3% 뛰어넘는 성능을 보이며, 낮은 샘플 수에서도 뛰어난 적응 능력을 보인다.
• MVP는 평균 성능에서 Flan-T5를 5.8% 뛰어넘어 강력한 지시어 튜닝 기반 기준 모델에 비해 열등하지 않음을 확인한다.
• MVP의 제로샷 성능은 T0-11B를 상당한 격차로 뛰어넘어, 지도형 사전 훈련의 효과성을 입증한다.
• 작업별 소프트 프롬프트의 통합(MVP+S)은 특정 작업에서 성능을 더욱 향상시켜, 프롬프트 기반 적응의 가치를 확인한다.