[논문 리뷰] Towards Generating Long and Coherent Text with Multi-Level Latent Variable Models

Dinghan Shen, Aslı Çelikyılmaz외 5명|arXiv (Cornell University)|2019. 02. 01.

Topic Modeling참고 문헌 51인용 수 10

한 줄 요약

이 논문은 고수준 의미적 계획과 저수준 단어 수준의 세부 정보를 모두 모델링함으로써 장문의 일관성 있는 텍스트를 생성하기 위해 계층적 확률적 레이어와 다수준 디코더를 사용하는 다중 수준 변분 오토인코더(ml-VAE)를 제안한다. 이 모델은 사후 붕괴를 완화하고 표준 VAE보다 더 다양한 의미적으로 일관성 있는 장문의 텍스트를 생성한다.

ABSTRACT

Variational autoencoders (VAEs) have received much attention recently as an end-to-end architecture for text generation with latent variables. In this paper, we investigate several multi-level structures to learn a VAE model to generate long, and coherent text. In particular, we use a hierarchy of stochastic layers between the encoder and decoder networks to generate more informative latent codes. We also investigate a multi-level decoder structure to learn a coherent long-term structure by generating intermediate sentence representations as high-level plan vectors. Empirical results demonstrate that a multi-level VAE model produces more coherent and less repetitive long text compared to the standard VAE models and can further mitigate the posterior-collapse issue.

연구 동기 및 목표

• 변분 오토인코더를 사용한 장문의 일관성 있는 텍스트 생성 문제를 해결하기 위해, 이는 일반적으로 길이와 일관성에서 어려움을 겪는다.
• 모델이 잠재 코드를 무시하는 경향이 있는 텍스트 VAE에서 흔히 발생하는 사후 붕괴 문제를 완화하기 위해.
• 문장 수준의 계획과 단어 수준의 세부 정보를 모두 포괄하는 계층적 잠재 구조를 도입함으로써 장기적 의존성 모델링을 향상시키기 위해.
• 의미적으로 유의미한 전이를 가능하게 하기 위해 잠재 공간에서 매끄럽고 연속적인 보간을 가능하게 하기 위해.
• 학습된 분리된 표현을 통해 내용을 유지하는 속성 조작을 지원하기 위해.

제안 방법

• 하나의 낮은 수준의 잠재 변수의 사전분포가 상위 수준의 표현에 조건화된 계층적 확률적 잠재 변수를 사용하며, 더 풍부하고 데이터 기반의 사전분포를 가능하게 한다.
• 상향식 구조를 가진 다수준 디코더를 사용한다: 먼저 문장 수준의 RNN이 계획 벡터를 생성하고, 이는 이후에 단어 수준의 RNN을 조건화하여 자동회귀적 생성을 수행한다.
• 잠재 공간에서 문장 수준의 계획을 수행한 후 단어를 생성함으로써 장거리 일관성을 향상시키기 위해 계층적 인코더-디코더 아키텍처를 도입한다.
• 더 유의미하고 분리된 잠재 코드를 학습하기 위해 계층적 추론 네트워크를 활용하여 사후 붕괴를 감소시킨다.
• 재구성 기반 변분 추론과 재구성 기반 경사 하강법을 사용하며, 하위 수준에 고정된 가우시안 혼합 사전분포를 도입하여 표현 유연성을 높인다.
• 부정 및 부정적 감성 리뷰의 평균 잠재 코드를 빼어 감성 방향 벡터를 생성함으로써 속성 벡터 산술을 수행한다.

실험 결과

연구 질문

• RQ1 다중 수준 잠재 변수를 갖는 계층적 VAE 아키텍처가 표준 VAE보다 더 길고 더 일관성 있는 텍스트를 생성할 수 있는가?
• RQ2 제안된 모델이 텍스트 생성에서 사후 붕괴 문제를 얼마나 효과적으로 완화할 수 있는가?
• RQ3 학습된 잠재 공간이 의미적으로 다를 수 있는 텍스트 샘플 간에 매끄럽고 의미 있는 보간을 지원할 수 있는가?
• RQ4 속성 벡터 산술을 통해 감성 전환을 수행할 때, 장문의 텍스트에서 내용을 유지하는 데 얼마나 효과적인가?
• RQ5 다중 수준 디코더가 생성된 장문의 텍스트에서 의미적 일관성을 향상시키고 반복을 줄이는 데 기여하는가?

주요 결과

• ml-VAE 모델은 표준 VAE 기반 모델과 비교해 훨씬 더 일관성 있고 반복이 적은 장문의 텍스트를 생성한다. 이는 Yelp 리뷰 데이터셋의 정성적 샘플을 통해 입증되었다.
• 모델은 더 매끄러운 잠재 공간 보간을 달성했으며, 두 잠재 코드 사이의 선형 경로 상 중간 지점에서 의미적으로 일관성 있고 문법적으로 올바른 문장을 생성했다.
• 단순한 속성 벡터 산술을 통해 부정적인 감성에서 긍정적인 감성으로 감성을 성공적으로 전환했으며, 사전 훈련된 감성 분류기로 분류된 결과 83.4%의 수정된 리뷰가 긍정적으로 분류되었다.
• 잠재 코드의 효과적인 사용을 통해 사후 붕괴가 감소한 것으로 나타났으며, 이는 다양한 맥락에 맞는 텍스트 생성을 가능하게 했다.
• 잠재 공간 내 선형 보간은 긍정에서 부정 감성으로 점진적인 전이를 보이며 감성 요소의 매끄럽고 의미 있는 분리가 이루어졌음을 시사한다.
• 언어 모델링 작업에서 더 낮은 퍼플렉서티를 달성했으며, 조건부 및 비조건부 생성 설정 모두에서 더 높은 품질의 샘플을 생성했다.