[논문 리뷰] Pre-Trained Models: Past, Present and Future

Xu Han, Zhengyan Zhang외 22명|arXiv (Cornell University)|2021. 06. 14.

Topic Modeling참고 문헌 250인용 수 14

한 줄 요약

이 논문은 전이 학습과 자기지도 학습에서 현대의 대규모 아키텍처인 BERT와 GPT로 이르는 전사 모델(PTMs)의 진화를 추적하며, 전사 모델의 아키텍처, 맥락 활용, 효율성, 해석 가능성에 대한 발전을 검토한다. 또한 도메인 적응, 소수의 예제 학습, 연속 벡터 공간 내 지식 표현의 본질과 같은 열린 과제를 규명한다.

ABSTRACT

Large-scale pre-trained models (PTMs) such as BERT and GPT have recently achieved great success and become a milestone in the field of artificial intelligence (AI). Owing to sophisticated pre-training objectives and huge model parameters, large-scale PTMs can effectively capture knowledge from massive labeled and unlabeled data. By storing knowledge into huge parameters and fine-tuning on specific tasks, the rich knowledge implicitly encoded in huge parameters can benefit a variety of downstream tasks, which has been extensively demonstrated via experimental verification and empirical analysis. It is now the consensus of the AI community to adopt PTMs as backbone for downstream tasks rather than learning models from scratch. In this paper, we take a deep look into the history of pre-training, especially its special relation with transfer learning and self-supervised learning, to reveal the crucial position of PTMs in the AI development spectrum. Further, we comprehensively review the latest breakthroughs of PTMs. These breakthroughs are driven by the surge of computational power and the increasing availability of data, towards four important directions: designing effective architectures, utilizing rich contexts, improving computational efficiency, and conducting interpretation and theoretical analysis. Finally, we discuss a series of open problems and research directions of PTMs, and hope our view can inspire and advance the future study of PTMs.

연구 동기 및 목표

• AI에서 전사의 역사를 추적하며, 특히 전이 학습과 자기지도 학습에서 비롯된 기원을 다루는 것.
• 대규모 전사 모델이 현대 AI 시스템의 기초가 되는 백본으로서의 역할을 분석하는 것.
• 최근 전사 모델의 발전을 이끄는 주요 연구 방향(아키텍처 설계, 맥락 모델링, 효율성, 해석 가능성)을 규명하고 검토하는 것.
• 도메인 적응, 작업별 미세조정, 전사 모델에 저장된 지식의 본질과 같은 열린 문제를 부각하는 것.
• 특히 연속 지식 표현과 효과적인 지식 전이에 관해 전사 모델의 미래를 전망하는 것.

제안 방법

• 2010년대 초부터 2021년까지 전사 학습 문헌에 대한 체계적 서베이로, 컴퓨터 비전과 자연어 처리 분야의 주요 이정표를 중심으로 한다.
• 전사 모델의 발전을 네 가지 핵심 방향으로 분류: 효율적인 아키텍처, 풍부한 맥락 활용, 계산 효율성, 이론적 해석.
• 마스크된 언어 모델링(MLM), 다음 문장 예측(NSP), 순차적 언어 모델링과 같은 전사 목표의 분석.
• 도메인 특화 전사 모델(BioBERT, SciBERT 등)과 그들의 전문화된 NLP 작업에서의 성능 검토.
• 전사와 최종 작업 도메인 간 분포 차이를 메우기 위한 미세조정 전략과 적응 기법 논의.
• 대규모 전사 모델의 파rameter에 어떻게 지식이 인코딩되는지에 대한 이론적 및 해석적 분석을 '모델지'로 프레임워크화.

실험 결과

연구 질문

• RQ1 전사가 초기 전이 학습과 자기지도 학습에서 현대의 대규모 전사 모델로 어떻게 진화했는가?
• RQ2 최근 전사 모델의 성공을 이끄는 주요 기술적 요인은 무엇이며, 다양한 NLP 작업에서 성능을 향상시키는 방식은 무엇인가?
• RQ3 단순한 미세조정이 도메인 특화 응용에 부적합한 이유는 무엇이며, 분포 차이를 해결하기 위해 필요한 적응 기법은 무엇인가?
• RQ4 전사 모델에 저장된 지식은 어떻게 표현되며, '모델지'는 구조적·기능적 측면에서 기호적 지식 표현과 어떻게 다를까?
• RQ5 다음 세대 전사 모델을 위한 가장 시급한 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• BERT와 GPT와 같은 대규모 전사 모델은 최종 NLP 작업의 사실상의 백본이 되었으며, 완전히 새로 훈련된 모델보다 뛰어난 성능을 보였다.
• 거대한 비라벨 데이터에 대한 전사 덕분에 모델은 일반화 가능한 표현을 학습할 수 있었으며, 자원이 적거나 소수의 예제가 있는 설정에서도 잘 작동했다.
• 도메인 특화 전사 모델인 BioBERT와 SciBERT는 도메인 특화 코퍼스에 노출되면서 전문화된 작업에서 성능 향상을 보였다.
• 성공에도 불구하고, 대규모 전사 모델을 최종 작업에 단순히 미세조정하는 것은 도메인 차이를 효과적으로 다루지 못하므로, 더 정교한 적응 기법이 필요하다.
• 전사 모델에 저장된 지식은 연속적이고 실수값 벡터로 표현되며, 이를 '모델지'라고 한다. 이는 기호적이고 이산적인 지식 표현 방식과 근본적으로 다르다.
• 계산 효율성 향상, 효과적인 소수의 예제 적응, 전사 모델 행동과 지식 구성의 깊은 이론적 이해 향상과 같은 중요한 열린 과제가 남아 있다.