[논문 리뷰] Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet

M. Onat Topal, Anil Bas외 1명|arXiv (Cornell University)|2021. 02. 16.

Topic Modeling인용 수 57

한 줄 요약

이 논문은 세 가지 주요 Transformer 기반 모델(GPT, BERT, XLNet)과 이것들이 자연어 생성에 미치는 영향을 조사하며, RNN/LSTM 아키텍처에 비해의 장점과 시 전체에서부터 요약까지의 응용 가능성을 강조합니다.

ABSTRACT

Recent years have seen a proliferation of attention mechanisms and the rise of Transformers in Natural Language Generation (NLG). Previously, state-of-the-art NLG architectures such as RNN and LSTM ran into vanishing gradient problems; as sentences grew larger, distance between positions remained linear, and sequential computation hindered parallelization since sentences were processed word by word. Transformers usher in a new era. In this paper, we explore three major Transformer-based models, namely GPT, BERT, and XLNet, that carry significant implications for the field. NLG is a burgeoning area that is now bolstered with rapid developments in attention mechanisms. From poetry generation to summarization, text generation derives benefit as Transformer-based language models achieve groundbreaking results.

연구 동기 및 목표

• 트랜스포머가 NLG에서 소실되는 그래디언트와 순차 처리의 한계를 왜 극복하는지 설명한다.
• GPT, BERT, XLNet를 비교하고 텍스트 생성 작업에 대한 시사점을 제시한다.
• 어텐션 메커니즘이 시 생성, 요약 및 관련 NLG 작업에서의 진보를 어떻게 가능하게 하는지 강조한다.

제안 방법

• 주의 메커니즘의 진화와 Transformer 기반 NLG 모델의 부상에 대해 논의한다.
• GPT, BERT, XLNet가 그들의 아키텍처를 통해 텍스트 생성에 어떤 영향을 미치는지 설명한다.
• Transformer 기반 모델이 병렬화와 장기 의존성에 미치는 시사점을 주장한다.

실험 결과

연구 질문

• RQ1 GPT, BERT, XLNet의 자연어 생성에 영향을 미치는 주요 특성은 무엇인가?
• RQ2 Transformer 기반 모델은 NLG 작업에서 RNN/LSTM의 한계를 어떻게 해결하는가?
• RQ3 시생성 및 요약과 같은 응용 분야에 대한 이 모델들의 실용적 시사점은 무엇인가?

주요 결과

• Transformer 기반 모델은 자연어 생성에 중요한 시사점을 가져온다.
• 어텐션 메커니즘은 병렬화 향상과 장거리 의존성 처리를 가능하게 한다.
• 시 생성, 요약 및 이들 모델 맥락에서 논의되는 기타 NLG 작업에 광범위한 응용이 있다.