[논문 리뷰] Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE

Qihuang Zhong, Liang Ding외 12명|arXiv (Cornell University)|2022. 12. 04.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 자기진화 학습을 통한 효율적 프리트레인 및 지식 정제 기반 프롬프트 전이를 통해 8개의 SuperGLUE 태스크 중 4개에서 최신 기준 성능을 달성한 6B 파라미터 언어 모델인 Vega v2를 제안한다. 이 모델은 PaLM과 같은 540B 파라미터 모델조차도 능가하며, 파라미터 효율성과 지능적인 지식 추출이 브루트 포스 스케일링을 초월할 수 있음을 보여준다.

ABSTRACT

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

연구 동기 및 목표

• 고정된 파라미터 예산(특히 6B 파라미터) 내에서 사전학습된 언어 모델(PLM)의 프리트레인 효율성과 효과성을 향상시키는 것.
• 자기질문을 통한 정보성 토큰 식별 및 마스킹을 통해 프리트레인 데이터에서 지식 추출을 향상시키는 것.
• 지식 정제 기반 프롬프트 전이를 활용해 자원이 제한된 태스크에 대한 후행 적응을 향상시키는 것.
• 파라미터 효율적이고 지식을 최대화하는 전략이 PaLM과 같은 초거대 스케일 모델을 능가할 수 있음을 입증하는 것.
• 무분별한 모델 스케일링 없이도 효율적이고 고성능인 PLM 트레이닝 및 파인튜닝을 위한 프레임워크를 구축하는 것.

제안 방법

• 자기진화 학습을 제안: 모델이 자기질문을 수행하여 마스킹된 언어 모델링(MLM) 동안 마스킹하기 위한 어려운 정보성 토큰을 식별한다.
• MLM 과정을 보조하기 위해 교정된 부드러운 레이블을 사용하여 학습 안정성과 지식 유지력을 향상시킨다.
• 기초 모델과 관련된 후행 태스크에서 지식을 정제하여 자원이 제한된 타겟 태스크로 전이하는 지식 정제 기반 프롬프트 전이 방법을 적용한다.
• 6B 파라미터에 최적화된 인코더 전용 트랜스포머 백본을 채택: 24층, 4096 히든 사이즈, 16,384 피드포워드 네트워크(FFN) 사이즈, 32개 헤드.
• 고자원 태스크에는 적대적 및 전도적 파인튜닝을 적용하고, 모든 단계에서 AdamW 옵티마이저를 사용해 전체 파라미터를 튜닝한다.
• 자원이 제한된 태스크(예: CB, COPA, WSC)의 강건성과 성능 향상을 위해 프롬프트 전이를 활용한다.

실험 결과

연구 질문

• RQ1 540B 파라미터로 확장하지 않고도 6B 파라미터 언어 모델이 SuperGLUE에서 최신 기준 성능을 달성할 수 있는가?
• RQ2 자기진화 학습이 정보성 토큰을 식별하고 마스킹하는 데 있어 프리트레인 중 지식 추출을 어떻게 향상시킬 수 있는가?
• RQ3 지식 정제 기반 프롬프트 전이가 자원이 제한된 SuperGLUE 태스크에서 성능 향상에 얼마나 기여하는가?
• RQ4 프리트레인 및 파인튜닝 전략을 최적화하는 것이 단순히 모델 크기를 늘리는 것보다 더 좋은 결과를 낼 수 있는가?
• RQ5 교정된 부드러운 레이블이 지식 추출을 위한 마스킹된 언어 모델링의 효과성을 높일 수 있는가?

주요 결과

• 2022년 10월 8일 기준, Vega v2는 SuperGLUE 랭킹에서 평균 점수 91.3으로 신규 최고 기록을 수립하여 종합 1위를 기록했다.
• 8개 태스크 중 4개에서 SOTA 성능을 달성: CB(98.6%), COPA(99.2%), RTE(62.4%), WSC(93.9%)로 공식 SuperGLUE 베이스라인을 크게 능가했다.
• 6B 파라미터에 불과한 Vega v2는 평균 점수 91.3으로 540B 파라미터의 PaLM 모델(90.4)을 초월하여 뛰어난 파라미터 효율성을 입증했다.
• 자기진화 학습 메커니즘이 프리트레인 데이터에서 정보성 패턴을 추출하는 능력을 향상시켜 지식 활용도를 높였다.
• 프롬프트 전이 전략은 자원이 제한된 태스크(CB, COPA, WSC 등)에서 과적합을 줄이고 성능을 향상시키는 데 효과적이었다.
• 결과적으로 지능적인 프리트레인과 타겟된 후행 적응 전략이 브루트 포스 스케일링을 능가할 수 있음을 보여주며, 더 큰 모델이 항상 더 나은 것은 아님을 도전적으로 입증했다.