[논문 리뷰] Pretrained Language Models for Text Generation: A Survey

Junyi Li, Tianyi Tang외 3명|arXiv (Cornell University)|2022. 01. 14.

Topic Modeling인용 수 66

한 줄 요약

사전 학습된 언어 모델(PLMs)이 텍스트 생성에 어떻게 적용되는지에 대한 포괄적 고찰로, 입력 인코딩, 모델 설계, 최적화, 도전과제, 자원, 미래 방향을 자세히 다룬다.

ABSTRACT

Text Generation aims to produce plausible and readable text in a human language from input data. The resurgence of deep learning has greatly advanced this field, in particular, with the help of neural generation models based on pre-trained language models (PLMs). Text generation based on PLMs is viewed as a promising approach in both academia and industry. In this paper, we provide a survey on the utilization of PLMs in text generation. We begin with introducing three key aspects of applying PLMs to text generation: 1) how to encode the input into representations preserving input semantics which can be fused into PLMs; 2) how to design an effective PLM to serve as the generation model; and 3) how to effectively optimize PLMs given the reference text and to ensure that the generated texts satisfy special text properties. Then, we show the major challenges arisen in these aspects, as well as possible solutions for them. We also include a summary of various useful resources and typical text generation applications based on PLMs. Finally, we highlight the future research directions which will further improve these PLMs for text generation. This comprehensive survey is intended to help researchers interested in text generation problems to learn the core concepts, the main techniques and the latest developments in this area based on PLMs.

연구 동기 및 목표

• PLM 기반 텍스트 생성의 작업 형식화와 입력 데이터의 역할, 모델 설계, 최적화의 역할을 소개한다.
• 비구조적, 구조적, 멀티미디어 데이터에 대한 입력 표현 전략을 조사한다.
• PLM 아키텍처를 (마스크드 LM, 인과 LM, 프리픽스 LM, 인코더-디코더 LM)로 분류하고 생성 작업을 위한 설계 변경을 검토한다.
• 최적화 기법과 생성된 텍스트의 충실도, 관련성, 일관성과 같은 특성을 보장하는 방법을 논의한다.
• PLM 기반 텍스트 생성의 도전과제, 자원, 응용 및 향후 방향을 강조한다.

제안 방법

• 텍스트 생성을 PLMs를 사용하여 입력-출력 매핑 f_M(x, P)으로 프레이밍한다.
• 입력 데이터를 비구조적, 구조적, 멀티미디어로 분류하고 인코딩 접근법을 검토한다.
• 사전 학습 목표에 따라 PLM을 마스크드 LM, 인과 LM, 프리픽스 LM, 인코더-디코더 LM으로 분류하고 아키텍처 확장을 논의한다.
• 미세조정, 다중 작업 학습, 프롬프트/어댑터 기반 접근법 등 최적화 전략을 검토한다.
• 구문 간 및 다국어 생성에 대한 표현과 생성 과정에서 구조화된 데이터 정보를 보존하는 방법을 논의한다.
• PLM 기반 텍스트 생성의 자원, 응용 및 향후 연구 방향을 요약한다.

실험 결과

연구 질문

• RQ1 PLM 기반 생성에서 입력 의미를 가장 잘 보존하는 입력 표현 및 인코딩 전략은 무엇인가?
• RQ2 다양한 작업에서 효과적인 생성 함수로 작동하도록 PLM은 어떻게 설계되거나 적응되어야 하는가?
• RQ3 유연하고 충실하며 작업에 맞춘 텍스트를 안정적으로 생성하는 최적화 기법은 무엇인가?
• RQ4 충실도, 효율성, 다국어성 등의 주요 도전과제를 무엇이며 이를 어떻게 완화할 수 있는가?
• RQ5 실무에서 PLM 기반 텍스트 생성의 자원, 데이터셋 및 응용 사례는 무엇인가?

주요 결과

• PLM은 대규모 말뭉치에서 사전 학습되어 다양한 작업에서 유창하고 맥락을 인식하는 텍스트 생성을 가능하게 한다.
• 계층적 및 그래프 기반 표현은 단락 및 문서의 장기 의존성 및 문장 간 의미를 포착하는 데 도움을 준다.
• 구조화된 데이터는 선형화, 표현 정렬 및 특수한 인코딩 모듈을 통해 의미적 간극을 메우는 과정을 필요로 한다.
• 입력 구조에 대한 충실도와 일관성을 높이려면 맞춤형 목표, 복사 메커니즘 및 입력 기반 프롬프트를 통해 강화될 수 있다.
• 다국어 및 다국어 간 PLM은 공유 표현과 언어 특화 적응을 통해 여러 언어에 걸친 생성을 가능하게 한다.
• 다양한 자원 및 응용 영역이 존재하며, 미세조정의 변형과 프롬프트 기반 방법과 같은 최적화 전략이 발전하고 있다.