[논문 리뷰] On Variational Learning of Controllable Representations for Text without Supervision

Peng Xu, Jackie Chi Kit Cheung외 1명|arXiv (Cornell University)|2019. 05. 28.

Topic Modeling참고 문헌 37인용 수 9

한 줄 요약

이 논문은 텍스트 VAE에서의 잠재 공간 공백 문제를 완화하기 위해 사전에 학습된 확률 단체로 후행 평균을 제약하는 새로운 변분 오토인코더인 CP-VAE를 제안한다. 이로 인해 처음으로 비지도 학습 기반의 제어 가능한 텍스트 생성이 가능해졌으며, 잠재 공간을 메우고 직교성을 강제함으로써, 지도 학습이 아닌 비지도 학습에서도 텍스트 스타일 전이 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The variational autoencoder (VAE) can learn the manifold of natural images on certain datasets, as evidenced by meaningful interpolating or extrapolating in the continuous latent space. However, on discrete data such as text, it is unclear if unsupervised learning can discover similar latent space that allows controllable manipulation. In this work, we find that sequence VAEs trained on text fail to properly decode when the latent codes are manipulated, because the modified codes often land in holes or vacant regions in the aggregated posterior latent space, where the decoding network fails to generalize. Both as a validation of the explanation and as a fix to the problem, we propose to constrain the posterior mean to a learned probability simplex, and performs manipulation within this simplex. Our proposed method mitigates the latent vacancy problem and achieves the first success in unsupervised learning of controllable representations for text. Empirically, our method outperforms unsupervised baselines and strong supervised approaches on text style transfer, and is capable of performing more flexible fine-grained control over text generation than existing methods.

연구 동기 및 목표

• 집합된 후행 분포에서의 잠재 공간 공백으로 인해 순서 기반 VAE가 비지도 제어 가능한 텍스트 생성에서 실패하는 문제를 해결하기 위해.
• 잠재 공간 내 낮은 밀도 영역인 잠재 구멍이 잠재 코드를 조작할 때 디코딩 실패의 주요 원인임을 규명하고 검증하기 위해.
• Annotation된 속성이나 사전 학습된 모델 없이도 강력하고 세밀한 제어가 가능한 방법을 개발하기 위해.
• 단일 문장 내에서 자연스럽고 유창한 스타일 전환(예: 주제 전환)이 가능한 제약된, 메워진 잠재 공간이 실제로 가능함을 보여주기 위해.

제안 방법

• 후행 평균을 제약하기 위해 학습된 확률 단체를 도입하여, 모든 조작된 잠재 코드가 잠재 공간의 고밀도 영역 내에 있도록 보장한다.
• 학습된 단체에 직교성 구조를 강제하는 정규화 항을 추가하여 분리성과 안정성을 증진시킨다.
• 단체가 조밀하게 메워지도록 유도하기 위해 두 번째 정규화 항을 도입하여 잠재 구멍을 최소화하고 일반화 성능을 향상시킨다.
• 두 정규화 항을 포함한 수정된 VAE 목적 함수를 사용해 모델을 훈련함으로써, 제약된 공간 전반에 걸쳐 디코딩 네트워크의 일반화 성능을 확보한다.
• 단체 내에서 보간하거나 스위칭하는 방식으로 조건부 생성을 수행함으로써 세밀한 스타일 제어를 가능하게 한다.
• 위상적 데이터 분석을 통해 기존 텍스트 VAE에서의 잠재 공간 공백의 존재와 심각성을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 이미지 생성에서는 성공했지만, 왜 표준 순서 기반 VAE는 잠재 코드를 조작할 때 의미 있는 텍스트 생성에 실패하는가?
• RQ2 집합된 후행 분포에서의 잠재 공간 공백이 텍스트 VAE의 디코딩 실패에 얼마나 기여하는가?
• RQ3 후행 평균을 학습된 확률 단체로 제약하는 것이 잠재 공간 공백을 완화하고, 지도 학습 없이도 제어 가능한 텍스트 생성을 가능하게 할 수 있는가?
• RQ4 CP-VAE는 지도 학습 및 사전 학습된 모델과 비교해 텍스트 스타일 전이 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 비지도 모델을 사용해 자연스럽고 유창한 방식으로 문장 내에서 세밀한 스타일 전환(예: 주제 전환)을 수행할 수 있는가?

주요 결과

• CP-VAE는 모든 비지도 기반 기준 모델과 강력한 지도 학습 기반 기준 모델을 초월하여 텍스트 스타일 전이 작업에서 최신 기술 수준의 성능을 달성했으며, B-GST와 같은 최신 모델과 경쟁 수준의 GLEU 점수를 기록했다.
• 사전 학습된 언어 모델이나 Annotation된 속성에 의존하지 않음에도 불구하고, 높은 품질, 다양성, 유창성을 갖춘 생성 결과를 도출했다.
• CP-VAE는 자연스럽고 부드럽게 문장 내 주제 전환을 가능하게 하여, 유창성과 통일성을 유지하면서도 주제를 전환하는 데 성공했다.
• 위상적 데이터 분석 결과, 텍스트 VAE에서의 잠재 공간 공백이 이미지 VAE보다 훨씬 심각함을 확인하여 핵심 문제의 타당성을 검증했다.
• 학습된 확률 단체는 조밀하게 메워져 있고 직교성을 유지하여, 생성 과정에서 시간 단계에 걸쳐도 조작에 대해 강건함을 보였다.
• 사전 학습된 모델(GPT-2 등)을 사용한 지도 학습 모델과 비교해도, 초반부터 비지도 학습으로만 훈련된 CP-VAE가 유사한 성능을 달성했다.