[논문 리뷰] Educating Text Autoencoders: Latent Representation Guidance via Denoising

Tianxiao Shen, Jonas Mueller외 2명|arXiv (Cornell University)|2019. 05. 29.

Topic Modeling참고 문헌 37인용 수 31

한 줄 요약

이 논문은 문장을 손상된(노이즈가 있는) 버전으로부터 복원하도록 훈련시켜 텍스트 오토인코더의 성능을 햖थ한 Denoising Adversarial Autoencoders (DAAE)를 제안한다. 노이즈 제거 목표를 도입함으로써 DAAE는 잠재 공간에 기하학적 구조를 강제하여 고품질의 텍스트 생성과 간단한 벡터 산술을 통한 제로샷 스타일 전이를 가능하게 하며, 기존 오토인코더보다 복원 및 생성 품질에서 뛰어난 성능을 보인다.

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

연구 동기 및 목표

• 텍스트 오토인코더의 잠재 공간에 기하학적 구조가 부족하여 의미 있는 텍스트 조작이 어려운 문제를 해결하기 위해.
• 노이즈 제거가 의미적으로 유사한 문장을 가까운 잠재 벡터로 매핑하도록 인코더를 이끌 수 있는지 조사하기 위해.
• 제어 가능한 텍스트 조작을 가능하게 하면서도 높은 복원 및 생성 품질을 유지하는 방법을 개발하기 위해.
• 무 supervision 하에 속성 레이블 없이도 제로샷 스타일 전이를 달성할 수 있는지 증명하기 위해.
• 이론적이고 경험적으로 노이즈 제거가 강력한 시퀀스 모델의 잠재 공간에서 이웃 보존을 강제한다는 것을 입증하기 위해.

제안 방법

• 손상된 입력(예: 무작위로 마스킹된 단어)으로부터 원본 문장을 복원하는 노이즈 제거 목표를 적극적 오토인코더(AAE)에 통합한다.
• 잠재 사전 매칭을 위해 적대적 훈련을 유지하면서도, 손상된 입력에 대한 복원 손실을 최소화하도록 인코더와 디코더를 훈련한다.
• 노이즈 제거 기준 하에서 무질서한 매핑이 최적해가 아니라는 것을 증명하여, 인코더가 잠재 공간에서 국소적 문장 구조를 보존하도록 강제한다.
• 결과로 도출된 DAAE 모델을 간단한 벡터 산술(예: 감정 또는 어간 벡터의 덧셈/뺄셈)을 통해 제로샷 텍스트 스타일 전이에 활용한다.
• 인터폴레이션 작업에 모델을 적용하고, 정성적 및 정량적 평가를 통해 다양한 모델 간 잠재 공간의 연속성(연속성)을 비교한다.
• 노이즈 제거 목표를 활용하여 BERT의 마스킹 언어 모델링과 유사하게 분리된 구조적 표현을 암묵적으로 장려한다.

실험 결과

연구 질문

• RQ1 노이즈 제거는 텍스트 오토인코더의 잠재 표현 기하학적 구조를 향상시킬 수 있는가?
• RQ2 노이즈 제거 목표는 잠재 공간 내 의미적 이웃 보존에 기여하는가?
• RQ3 DAAE는 어떤 supervision이나 속성 레이블 없이도 제로샷 텍스트 스타일 전이를 수행할 수 있는가?
• RQ4 DAAE는 복원 품질과 생성 능력 측면에서 다른 오토인코더와 비교해 어떻게 성능을 내는가?
• RQ5 노이즈 제거가 잠재 공간 인터폴레이션의 연속성에 얼마나 기여하는가?

주요 결과

• DAAE는 AAE, VAE, LAAE를 포함한 평가된 모든 오토인코더 중에서 생성 품질과 복원 능력 간 최적의 트레이드오프를 달성한다.
• 노이즈 제거 목표가 잠재 공간 기하학을 크게 향상시켰음을 입증하였으며, 문장 이웃 보존 및 더 부드러운 인터폴레이션을 통해 이를 확인할 수 있었다.
• DAAE는 어떤 피팅 튜닝이나 레이블 없이도 간단한 벡터 산술(감정 또는 어간 변경 등)을 통해 효과적인 제로샷 스타일 전이를 가능하게 한다.
• 정성적 예시에서는 DAAE가 AAE, VAE, LAAE보다 더 의미적으로 일관된 인터폴레이션 및 벡터 산술 결과를 생성하는 것으로 나타났다.
• 다른 문장 간 인터폴레이션에서의 성능은 잠재 공간 내 언어적 연속성과 주제 일관성이 향상되었음을 시사한다.
• 이론적 분석을 통해 노이즈 제거가 임의의 매핑을 억제함으로써, 노이즈 제거 기준 하에서 무질서한 인코더가 최적해가 아니라는 것을 확인하였다.