[논문 리뷰] AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Katikapalli Subramanyam Kalyan, Ajit Rajasekharan외 1명|arXiv (Cornell University)|2021. 08. 12.

Topic Modeling참고 문헌 296인용 수 38

한 줄 요약

트랜스포머 기반 사전학습 언어 모델(T-PTLMs)에 대한 포괄적 조사로, 자기지도학습의 기초, 사전학습 방법/과제, 새로운 분류 체계, 하류 적응, 벤치마크, 라이브러리, 향후 연구 방향을 다룬다.

ABSTRACT

Transformer-based pretrained language models (T-PTLMs) have achieved great success in almost every NLP task. The evolution of these models started with GPT and BERT. These models are built on the top of transformers, self-supervised learning and transfer learning. Transformed-based PTLMs learn universal language representations from large volumes of text data using self-supervised learning and transfer this knowledge to downstream tasks. These models provide good background knowledge to downstream tasks which avoids training of downstream models from scratch. In this comprehensive survey paper, we initially give a brief overview of self-supervised learning. Next, we explain various core concepts like pretraining, pretraining methods, pretraining tasks, embeddings and downstream adaptation methods. Next, we present a new taxonomy of T-PTLMs and then give brief overview of various benchmarks including both intrinsic and extrinsic. We present a summary of various useful libraries to work with T-PTLMs. Finally, we highlight some of the future research directions which will further improve these models. We strongly believe that this comprehensive survey paper will serve as a good reference to learn the core concepts as well as to stay updated with the recent happenings in T-PTLMs.

연구 동기 및 목표

• T-PTLM을 위한 자기지도 학습 기초에 대한 구조화된 개요를 제공합니다.
• 사전학습 말뭉치, 아키텍처, SSL 유형, 확장에 기반한 T-PTLM의 새로운 분류 체계를 소개합니다.
• 사전학습 방법, 과제, 임베딩 및 다운스트림 적응 기법을 요약합니다.
• 내재적 및 외재적 평가 벤치마크와 유용한 라이브러리를 검토합니다.
• T-PTLM 개발을 이끌 미래 연구 방향을 논의합니다.

제안 방법

• T-PTLM의 핵심으로서 자기지도 학습에 대한 철저한 개요를 제시합니다.
• 사전학습, 사전학습 방법, 사전학습 과제, 임베딩, 그리고 다운스트림 적응과 같은 핵심 개념을 설명합니다.
• 말뭉치, 아키텍처, SSL 및 확장을 포괄하는 T-PTLM의 새로운 분류 체계를 제안합니다.
• 내재적 및 외재적 벤치마크와 기존 라이브러리를 검토합니다.
• 해당 분야의 미래 연구 방향과 남아 있는 도전 과제를 강조합니다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 사전학습 언어 모델을 위한 자기지도 학습의 기초 개념과 동기는 무엇인가요?
• RQ2 사전학습 말뭉치, 아키텍처, SSL 유형 및 확장과 같은 축에 따라 T-PTLM을 어떻게 분류할 수 있는가(분류 체계)?
• RQ3 T-PTLM에서 사용되는 일반적인 사전학습 방법, 과제 및 임베딩 전략은 무엇인가요?
• RQ4 T-PTLM을 평가하는 데 사용되는 다운스트림 적응 방법 및 평가 벤치마크는 무엇인가요?
• RQ5 T-PTLM 작업을 지원하는 라이브러리와 도구는 무엇이며, 어떤 향후 방향이 이 분야를 발전시킬 가능성이 있나요?

주요 결과

• 사전학습 말뭉치, 아키텍처, SSL 및 확장을 기반으로 한 T-PTLM의 새로운 분류 체계를 식별합니다.
• 사전학습의 핵심 개념과 단계(말뭉치 준비, 어휘 생성, 사전학습 과제 및 다이나믹스)를 종합합니다.
• 다양한 사전학습 방법(PTS, CPT, SPT, TAPT, KIPT) 및 지식 상속 접근법을 자세히 다룹니다.
• 피처 기반, 파인튜닝, 프롬프트 기반 등 다운스트림 적응 방법과 내재적/외재적 평가 벤치마크를 검토합니다.
• 유용한 라이브러리(예: Huggingface Transformers)를 목록화하고 효율성, 강건성 및 프라이버시에 대한 향후 연구 방향을 개요합니다.
• 핵심 개념을 배우고 T-PTLM 개발에 대한 최신 정보를 유지하기 위한 체계적인 참고 자료를 제공합니다.