[논문 리뷰] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space

Chunyuan Li, Xiang Gao외 5명|arXiv (Cornell University)|2020. 04. 05.

Topic Modeling참고 문헌 56인용 수 11

한 줄 요약

Optimus는 대규모 텍스트 데이터에서 보편적인 잠재 공간을 사전 훈련하는 대규모 딥 변동형 오토인코더(VAE)를 제안하며, 이는 제어 가능한 텍스트 생성과 저자원 작업에 대한 강력한 제로샷 전이를 가능하게 한다. BERT와 GPT-2의 장점을 융합함으로써 Optimus는 VAE 언어 모델링에서 최고 수준의 성능을 달성했으며, GPT-2보다 낮은 퍼플렉서티를 기록했고, 잠재 벡터 산술을 통한 효과적인 가이드드 생성을 실현했다.

ABSTRACT

When trained effectively, the Variational Autoencoder (VAE) can be both a powerful generative model and an effective representation learning framework for natural language. In this paper, we propose the first large-scale language VAE model, Optimus. A universal latent embedding space for sentences is first pre-trained on large text corpus, and then fine-tuned for various language generation and understanding tasks. Compared with GPT-2, Optimus enables guided language generation from an abstract level using the latent vectors. Compared with BERT, Optimus can generalize better on low-resource language understanding tasks due to the smooth latent space structure. Extensive experimental results on a wide range of language tasks demonstrate the effectiveness of Optimus. It achieves new state-of-the-art on VAE language modeling benchmarks. We hope that our first pre-trained big VAE language model itself and results can help the NLP community renew the interests of deep generative models in the era of large-scale pre-training, and make these principled methods more practical.

연구 동기 및 목표

• 문장에 대한 보편적이고 구조화된 잠재 공간을 학습하는 대규모 딥 변동형 오토인코더(VAE)를 개발하는 것.
• 자기회귀 모델(GPT-2 등)의 고수준 제어 부족 문제를 해결하기 위해 잠재 벡터를 조작하여 제어 가능한 가이드드 텍스트 생성을 가능하게 하는 것.
• BERT보다 더 부드럽고 일반화 능력이 뛰어난 잠재 공간을 학습함으로써 저자원 언어 이해 작업에서 제로샷 및 희소샷 성능을 향상시키는 것.
• 거대한 텍스트 데이터에서 딥 VAE를 사전 훈련함으로써 KL 소실 문제를 완화하고 표현 품질을 향상시킬 수 있음을 입증하는 것.
• BERT와 유사한 인코딩과 GPT-2와 유사한 디코딩을 공유된 잠재 공간과 함께 통합함으로써 언어 이해와 생성을 하나의 프레임워크로 통합하는 것.

제안 방법

• 표준 VAE 목표를 사용하여 대규모 텍스트 코퍼스에서 딥 트랜스포머 기반 VAE를 사전 훈련함: 입력 문장을 잠재 코드로부터 재구성하는 것.
• 학습된 표현의 정규화와 부드러움을 확보하기 위해 잠재 공간에 사전 분포(예: 표준 정규분포)를 사용하는 것.
• 추론 중 디코더에 조건 벡터를 통합하여 재학습 없이도 가이드드 텍스트 생성이 가능하게 하는 잠재 벡터 통합 기법을 사용하는 것.
• 텍스트 생성, 스타일 전이, 제로샷 이해와 같은 최종 작업에 대해 사전 훈련된 모델을 미세조정하는 것.
• 잠재 공간의 분리 및 구조화된 성질을 활용하여 의미 전달이 가능한 산술 연산(예: 벡터 덧셈)을 수행하는 것.
• BERT의 인코더와 GPT-2의 디코더를 통합된 아키텍처로 조합하여 기존 사전 훈련된 구성 요소를 재사용함으로써 확장 가능하고 효과적인 모델을 구축하는 것.

실험 결과

연구 질문

• RQ1 대규모 딥 VAE는 언어에 대해 제어 가능한 생성과 이해를 지원하는 보편적이고 구조화된 잠재 공간을 학습할 수 있는가?
• RQ2 거대한 텍스트 데이터에서의 사전 훈련이 언어 VAE에서의 KL 소실 문제를 어떻게 완화하는가?
• RQ3 잠재 벡터 산술이 의미 있는 해석 가능한 문장 조작(예: 스타일 전이, 콘텐츠 전이)을 가능하게 하는가?
• RQ4 Optimus의 구조화된 잠재 공간은 저자원 언어 이해 작업에서 BERT의 표현보다 더 잘 일반화되는가?
• RQ5 잠재 코드를 통한 제어 가능한 생성을 가능하게 하면서도, GPT-2보다 언어 모델링 성능이 뛰어난가?

주요 결과

• Optimus는 네 가지 표준 VAE 언어 모델링 벤치마크에서 최고 수준의 성능을 달성하여 이전의 VAE 기반 모델을 능가했다.
• Optimus는 표준 언어 모델링 벤치마크에서 GPT-2보다 낮은 퍼플렉서티를 기록하여 우수한 시퀀스 모델링 능력을 입증했다.
• 잠재 벡터 산술을 통한 효과적인 가이드드 텍스트 생성이 가능했으며, 예를 들어 한 문장에서 감성, 주제, 주어 수를 다른 문장으로 전이하는 데 성공했다.
• 제로샷 및 희소샷 언어 이해 작업에서, 더 부드럽고 구조화된 잠재 공간 덕분에 Optimus는 BERT보다 더 우수한 일반화 성능을 보였다.
• 벡터 산술을 통한 의미 있는 문장 전이가 가능했으며, 예를 들어 단수 주어를 복수 주어로 변환하거나 일상 생활에서 스포츠 맥락으로 전환하는 데 성공했다.
• 정보 버블론 렌즈에서 본 VAE 목표의 증명은 VAE가 학습된 표현의 압축성과 사용성 간 균형을 잘 이루는 원리적인 방법임을 확인했다.