[논문 리뷰] APo-VAE: Text Generation in Hyperbolic Space

Shuyang Dai, Zhe Gan외 4명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 46인용 수 4

한 줄 요약

APo-VAE는 자연어의 계층적 구조를 모델링하기 위해 Poincaré 구상에서 래핑된 정규분포를 사용하는 초구형 변동형 오토인코더를 제안한다. 이는 Kullback-Leibler 발산의 원-이중 공식화를 활용해 적대적 훈련을 수행함으로써, 몽테카를로 근사에 의존하지 않고도 후행 분포의 붕괴를 완화하면서도 텍스트 생성, 언어 모델링, 스타일 전이에서 뛰어난 성능을 달성한다.

ABSTRACT

Natural language often exhibits inherent hierarchical structure ingrained with complex syntax and semantics. However, most state-of-the-art deep generative models learn embeddings only in Euclidean vector space, without accounting for this structural property of language. In this paper, we investigate text generation in a hyperbolic latent space to learn continuous hierarchical representations. An Adversarial Poincare Variational Autoencoder (APo-VAE) is presented, where both the prior and variational posterior of latent variables are defined over a Poincare ball via wrapped normal distributions. By adopting the primal-dual formulation of KL divergence, an adversarial learning procedure is introduced to empower robust model training. Extensive experiments in language modeling and dialog-response generation tasks demonstrate the winning effectiveness of the proposed APo-VAE model over VAEs in Euclidean latent space, thanks to its superb capabilities in capturing latent language hierarchies in hyperbolic space.

연구 동기 및 목표

• 유럽형 VAE의 자연어의 본질적 계층적 구조를 포착하는 데 한계가 있음을 해결하기 위해.
• 특히 Poincaré 구상 모델을 통해 초구형 기하학이 트리 구조를 가진 언어 계층을 더 잘 표현할 수 있는지 탐색하기 위해.
• 원-이중 KL 공식화를 통한 적대적 최적화를 도입하여 VAE 기반 텍스트 생성의 훈련 안정성과 표현 품질을 향상시키기 위해.
• 초구형 공간에서 더 정보가 풍부하고 데이터 기반의 사전 분포를 사용하여 텍스트 VAE에서 후행 분포 붕괴를 완화하기 위해.
• 언어 모델링, 스타일 전이, 대화 생성을 포함한 다양한 NLP 작업에서 초구형 잠재 공간의 효과성을 입증하기 위해.

제안 방법

• 계층적 잠재 구조를 모델링하기 위해 Poincaré 구상 위에서 래핑된 정규분포를 사용하여 사전 분포와 변동형 후행 분포를 정의한다.
• 변동형 경계의 적대적 최적화를 가능하게 하기 위해 Kullback-Leibler 발산의 원-이중 공식화를 사용하여 몽테카를로 근사를 의존하지 않는다.
• 표현 학습 향상을 위해 변동형 후행 분포의 혼합을 포함한 VampPrior 설계를 도입한다.
• 감성 분류기를 사용하여 비일치된 스타일 전이에서 내용과 감성의 분리에 적대적 훈련을 적용한다.
• 대화 문맥에 조건부로 작동하는 APo-VAE의 조건부 변형을 개발하여 대화 응답 생성에 활용한다.
• 잠재 코드의 2차원 투영을 사용하여 계층적 구조를 시각화하고, 더 길고 복잡한 문장이 Poincaré 구상의 외곽에 위치함을 확인함으로써 모델이 계층적 표현을 학습할 수 있음을 뒷받침한다.

실험 결과

연구 질문

• RQ1 유럽형 공간에 비해 초구형 잠재 공간이 자연어의 계층적 구조를 더 잘 포착할 수 있는가?
• RQ2 Poincaré 구상에 래핑된 정규분포를 사용하면 텍스트 생성을 위한 VAE의 훈련이 더 효과적이고 안정적인가?
• RQ3 기존의 변동형 추론에 비해 원-이중 KL 공식화가 텍스트 VAE의 훈련 안정성과 표현 품질을 향상시키는가?
• RQ4 APo-VAE는 텍스트 생성 작업에서 후행 분포 붕괴를 어느 정도 완화하는가?
• RQ5 기존의 VAE 기반 모델에 비해 APo-VAE는 언어 모델링, 비일치된 스타일 전이, 대화 생성과 같은 다양한 NLP 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• APo-VAE는 iVAE, β-VAE, P-VAE를 포함한 모든 베이스라인에 비해 PTB 데이터셋에서 더 낮은 음의 ELBO(116.2)와 PPL(6.1)을 기록한다.
• 모델은 더 높은 KL 발산 항과 잠재 코드 및 입력 간의 상호정보량을 보이며, 후행 분포 붕괴가 감소한 것으로 나타난다.
• 비일치된 스타일 전이에서 APo-VAE는 BLEU 점수 37.8을 기록하여 iVAE(36.7)를 능가했으며, 정보성(52.8% 승리 비율)과 다양성(51.2% 승리 비율)에서 뚜렷한 향상을 보였다.
• 대화 응답 생성에서 APo-VAE는 평균 리콜을 iVAE의 0.427에서 0.438으로 향상시키고, 인트라-디스트-2를 0.692에서 0.792로 증가시켜 다양성 향상을 나타냈다.
• 인간 평가 결과, APo-VAE는 정보성(52.8% 선호), 일관성(63.7% 선호), 다양성(62.1% 선호) 측면에서 경쟁 모델보다 더 선호됨을 보였다.
• 시각화 결과, 더 길고 복잡한 문장들이 Poincaré 구상의 외곽에 위치함을 확인하여, 모델이 계층적 표현을 학습할 수 있음을 뒷받침한다.