[논문 리뷰] Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors

Wanyu Du, Jianqiao Zhao외 2명|arXiv (Cornell University)|2022. 04. 04.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 결정론적 인코더 히든 상태에서 종속적인 랜덤 컨텍스트 변수를 모델링하기 위해 가우시안 프로세스(GP) 사전을 사용하는 변분 인코더-디코더 모델을 제안한다. GP 사전를 통해 잠재 변수 간의 구조적 의존성을 유도함으로써, 품질을 희생시키지 않은 채 다양하고 컨텍스트에 민감한 텍스트 생성을 가능하게 하며, 번역 및 스타일 전이 작업 모두에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Generating high quality texts with high diversity is important for many NLG applications, but current methods mostly focus on building deterministic models to generate higher quality texts and do not provide many options for promoting diversity. In this work, we present a novel latent structured variable model to generate high quality texts by enriching contextual representation learning of encoder-decoder models. Specifically, we introduce a stochastic function to map deterministic encoder hidden states into random context variables. The proposed stochastic function is sampled from a Gaussian process prior to (1) provide infinite number of joint Gaussian distributions of random context variables (diversity-promoting) and (2) explicitly model dependency between context variables (accurate-encoding). To address the learning challenge of Gaussian processes, we propose an efficient variational inference approach to approximate the posterior distribution of random context variables. We evaluate our method in two typical text generation tasks: paraphrase generation and text style transfer. Experimental results on benchmark datasets demonstrate that our method improves the generation quality and diversity compared with other baselines.

연구 동기 및 목표

• 기존의 오토인코더 기반 모델에서 텍스트 생성 품질과 다양성 사이의 상충 관계를 해결하기 위해.
• 인코더에서 잠재 변수 간의 의존성을 모델링하여 컨텍스트 표현 학습을 향상시키기 위해.
• 단지 디코딩 전략이나 고정된 전문가 앙상블에 의존하지 않고도 고다양도 텍스트 생성을 가능하게 하기 위해.
• 변형 가능한 잠재 표현의 크기가 변할 수 있는 경우에도 GP 사전을 학습하기 위한 효율적인 변분 추론 방법을 개발하기 위해.
• GP 사전가 독립 사전 및 기타 기준 모델보다 품질 및 다양성 지표에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 결정론적 인코더 히든 상태에서 랜덤 컨텍스트 변수로의 스토케스틱 함수 매핑을 도입하며, 이는 가우시안 프로세스 사전을 사용한다.
• 잠재 변수 간의 의존성을 명시적으로 코딩하기 위해 GP 사전를 사용해 컨텍스트 변수의 결합 분포를 모델링한다.
• GP 사전 하에서 잠재 변수의 사후 분포를 근사하기 위해 암시적 변분 추론 방법을 적용한다.
• 계산 효율성을 유지하기 위해 추론 과정에서 변분 사후에서 i.i.d. 샘플링을 수행한다.
• 비교 및 분석을 위해 LSTM 및 트랜스포머 기반 인코더-디코더 아키텍처에 이 프레임워크를 적용한다.
• 다양한 컨텍스트 변수 실현값을 샘플링함으로써 GP 사전를 활용해 다수의 다양하고 고품질의 출력을 생성한다.

실험 결과

연구 질문

• RQ1 잠재 컨텍스트 변수 간의 의존성을 모델링하면 텍스트 생성의 품질과 다양성이 향상되는가?
• RQ2 잠재 변수 모델링에 GP 사전를 사용할 경우 독립 사전보다 조건부 텍스트 생성에서 성능이 뛰어나지는가?
• RQ3 제안된 방법은 높은 생성 품질을 유지하면서도 사후 붕괴를 완화할 수 있는가?
• RQ4 디코딩 전용 다양성 전략과 비교했을 때 GP 사전는 품질-다양성 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 다양한 아키텍처와 텍스트 생성 작업 전반에 걸쳐 얼마나 일반화 가능한가?

주요 결과

• GP-VAE는 모든 기준 모델들 중에서 GYAFC (E&M) 테스트 세트에서 가장 높은 생성 품질을 기록했으며, PG + Normal 사전 및 T-CVAE를 능가한다.
• 트랜스포머 기반 모델에서는 T5 + GP 사전가 토큰 수준 및 문장 수준의 다양성 지표에서 최고의 성능을 기록했다.
• 특히 고차원 설정에서 표준 VAE 기준 모델들보다 후행 붕괴 현상이 크게 감소했다.
• 스타일 전이 작업에서는 의미 정확성을 유지하면서도 다양한 출력을 생성했으며, 정성적 예시를 통해 이를 확인할 수 있었다.
• i.i.d. 샘플링을 통해 변분 사후에서 추론 시간 복잡도를 표준 VAE들과 동일하게 유지하였다.
• GP 사전는 독립적인 잠재 변수 모델보다 더 의미적으로 일관되고 다양한 출력을 이끌어내는 컨텍스트 인식 변형을 가능하게 했다.