[논문 리뷰] Latent Space Secrets of Denoising Text-Autoencoders.

Tianxiao Shen, Jonas Mueller외 2명|arXiv (Cornell University)|2019. 05. 29.

Topic Modeling참고 문헌 10인용 수 4

한 줄 요약

이 논문은 원본 문장을 복원하기 위해 교란된 입력에서 훈련하는 방식으로 텍스트 오토인코더의 잠재 공간 기하학을 향상시키는 디노이징 적대적 오토인코더(Denoising Adversarial Autoencoders, DAAE)를 제안한다. 이 방법은 의미적으로 유사한 텍스트가 가까운 잠재 벡터로 매핑되도록 보장하여 간단한 벡터 산술을 통해 효과적인 제로샷 텍스트 스타일 전이를 가능하게 한다.

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

연구 동기 및 목표

• 기존 텍스트 오토인코더에서 유사한 문장이 가까운 잠재 벡터로 매핑되지 않는 문제를 해결하기 위해.
• 고용량 오토인코더가 시퀀스와 잠재 표현 간에 임의의 매핑을 학습할 수 있는 이론적 설명을 제공하기 위해.
• 잠재 공간의 일관성과 구조를 향상시켜 잠재 벡터 연산을 통한 의미 있는 텍스트 조작을 가능하게 하기 위해.
• 기존 오토인코더 변형 대비 생성 품질과 복원 능력 간의 더 나은 균형을 확보하기 위해.
• 잠재 공간 기하학을 향상시켜 단순한 잠재 벡터 산술을 통해 제로샷 텍스트 스타일 전이를 가능하게 하기 위해.

제안 방법

• 모델이 교란된 버전에서 원본 문장을 복원하도록, 적대적 오토인코더에 디노이징 목적을 추가한다.
• 손상된 입력에서 복원 손실을 최소화함으로써 인코더가 유사한 문장을 유사한 잠재 표현으로 매핑하도록 훈련한다.
• 적대적 훈련을 통해 잠재 공간이 사전 분포를 따르도록 보장하여 생성 품질을 향상시킨다.
• 디노이징 목적을 통해 인코더를 정규화하여 입력 변동에 더 강건하고 기하학적 일관성을 유도한다.
• 복원 손실, 적대적 손실, 잠재 공간에 대한 정규화 항을 조합하여 모델을 종합적으로 최적화한다.
• 훈련 후 잠재 벡터 산술(예: 벡터 덧셈/뺄셈)을 적용하여 제로샷 텍스트 스타일 전이를 수행한다.

실험 결과

연구 질문

• RQ1 현재의 텍스트 오토인코더는 고용량임에도 불구하고 왜 일관된 잠재 공간을 유지하지 못하는가?
• RQ2 디노이징 목적은 텍스트 오토인코더의 잠재 공간 기하학을 향상시킬 수 있는가?
• RQ3 향상된 잠재 공간 기하학은 잠재 벡터 산술을 통해 효과적인 제로샷 텍스트 스타일 전이를 가능하게 하는가?
• RQ4 제안된 DAAE 모델은 복원 품질과 생성 능력 측면에서 다른 오토인코더 변형과 비교해 어떻게 성능을 내는가?
• RQ5 디노이징 오토인코더에서 향상된 잠재 공간 기하학의 이론적 메커니즘은 무엇인가?

주요 결과

• 디노이징 목적은 인코더를 성공적으로 정규화하여 의미적으로 유사한 문장이 잠재 공간 내 가까운 지점으로 매핑되도록 보장한다.
• DAAE는 비교된 오토인코더 모델들 중에서 복원 능력과 생성 품질 간의 최적 균형을 달성한다.
• 향상된 잠재 공간 기하학 덕분에 간단한 벡터 산술(예: 문장 보간, 스타일 전이)을 통해 제로샷 텍스트 스타일 전이가 가능해진다.
• 이론적 분석은 고용량 오토인코더가 임의의 매핑을 학습할 수 있음을 확인하며, 기하학적 일관성을 확보하기 위해 유도적 편향(예: 디노이징)이 필요함을 정당화한다.
• 실험 결과 DAAE는 복원 정확도와 잠재 공간 구조 측면에서 표준 변동 및 적대적 오토인코더를 모두 능가한다.
• 디노이징 목적은 입력 교란에 대한 인코더의 강건성과 일반화 능력, 안정성을 향상시킨다.