[논문 리뷰] Preventing Posterior Collapse with Levenshtein Variational Autoencoder

Serhii Havrylov, Ivan Titov|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 41인용 수 5

한 줄 요약

이 논문은 후보 분포의 후행 붕괴를 방지하기 위해 레벤슈타인 거리 기반 커널 밀도 추정기와 모델 분포 간의 KL 발산에 대한 경계를 최적화하는 새로운 VAE 목표인 레벤슈타인 변동 자동에코더(Lev-VAE)를 제안한다. 각 단계에서 레벤슈타인 거리를 사용하여 최적의 시퀀스 계속 확장을 예측하도록 생성기에게 유도함으로써, 아키텍처 변경 없이 분리된 정보성 잠재 표현을 학습할 수 있으며, 감성 분석 및 자연어 추론과 같은 후행 작업에서 β-VAE와 사이클릭 안내 VAE를 능가한다.

ABSTRACT

Variational autoencoders (VAEs) are a standard framework for inducing latent variable models that have been shown effective in learning text representations as well as in text generation. The key challenge with using VAEs is the {\it posterior collapse} problem: learning tends to converge to trivial solutions where the generators ignore latent variables. In our Levenstein VAE, we propose to replace the evidence lower bound (ELBO) with a new objective which is simple to optimize and prevents posterior collapse. Intuitively, it corresponds to generating a sequence from the autoencoder and encouraging the model to predict an optimal continuation according to the Levenshtein distance (LD) with the reference sentence at each time step in the generated sequence. We motivate the method from the probabilistic perspective by showing that it is closely related to optimizing a bound on the intractable Kullback-Leibler divergence of an LD-based kernel density estimator from the model distribution. With this objective, any generator disregarding latent variables will incur large penalties and hence posterior collapse does not happen. We relate our approach to policy distillation \cite{RossGB11} and dynamic oracles \cite{GoldbergN12}. By considering Yelp and SNLI benchmarks, we show that Levenstein VAE produces more informative latent representations than alternative approaches to preventing posterior collapse.

연구 동기 및 목표

• 변동 자동에코더에서 생성기가 생성 과정 중에 잠재 변수를 忽시하는 현상인 후행 붕괴 문제를 해결하기 위해.
• 모델 아키텍처를 수정하지 않고도 후행 붕괴를 방지할 수 있는 단순하고 효율적이며 일반적인 학습 목표를 개발하기 위해.
• 기존의 β-VAE와 사이클릭 안내 VAE와 같은 접근 방식보다 더 정보성 있는 잠재 표현을 얻을 수 있음을 입증하기 위해.
• 대부분의 작업에 대해 일반화 가능함을 보여주기 위해, 특히 표현 학습과 언어 모델링을 포함한 다양한 작업에 대해.
• 레벤슈타인 기반 커널 밀도 추정기와 모델 분포 간의 KL 발산에 대한 경계에서 유도된 확률론적 기반의 목표 함수를 제공하기 위해.

제안 방법

• 표준 ELBO 목표를 대체하여, 생성기가 각 시간 단계에서 생성된 시퀀스의 최적 계속 확장을 예측하도록 유도하는 새로운 손실 함수를 도입한다.
• 현재 생성된 프리픽스와 진짜 타겟 시퀀스 간의 레벤슈타인 거리를 사용해 최적의 계속 확장을 정의한다.
• 동적 프로그래밍을 활용해 각 단계에서 최적의 계속 확장을 효율적으로 계산함으로써, 미분 가능한 학습을 가능하게 한다.
• 레벤슈타인 기반 커널 밀도 추정기와 모델 분포 간의 비가역 KL 발산에 대한 상한으로 목표 함수를 구성한다.
• 최적의 계속 확장 예측 기반 복원 손실과 사전 및 사후 분포 간의 KL 정규화를 조합하여 모델을 학습한다.
• 비조건부 생성과 후행 분류 작업 모두에 이 방법을 적용하며, 잠재 표현에 선형 프로브를 적용한다.

실험 결과

연구 질문

• RQ1 레벤슈타인 거리 기반의 새로운 VAE 목표가 아키텍처 수정 없이 후행 붕괴를 방지할 수 있는가?
• RQ2 제안된 레벤슈타인 VAE의 성능은 β-VAE와 사이클릭 안내 VAE에 비해 표현 품질 측면에서 어떻게 다른가?
• RQ3 모델의 잠재 공간이 의미 있는 문장 구조를 얼마나 잘 포착하는가, 특히 골드 표준 프리픽스에 의존할 수 없는 상황에서?
• RQ4 자연어 추론 및 감성 분류와 같은 후행 NLP 작업으로 일반화되는가?
• RQ5 학습 방식을 감안할 때 노출 편향을 피하면서도 강력한 생성 품질을 유지할 수 있는가?

주요 결과

• SNLI 데이터셋에서 α=1.0을 사용한 레벤슈타인 VAE는 선형 프로브 정확도 63.80%를 기록했으며, 유사한 학습 조건에서 β-VAE(60.33%)와 사이클릭 안내 VAE(55.54%)를 모두 능가했다.
• 단순한 비변동 자동에코더인 레벤슈타인 AE(Lev. AE)는 SNLI에서 61.49%의 정확도를 기록했으며, 표준 VAE(43.36%)를 초월했고, 이는 잠재 정규화 없이도 핵심 아이디어의 효과성을 입증한다.
• Yelp 감성 분석 데이터셋에서 Lev-VAE는 더 큰 KL 값을 사용했음에도 불구하고 β-VAE와 사이클릭 안내 VAE를 상회하는 정확도를 기록했으며, 이는 더 정보성 있는 잠재 코드를 생성했음을 시사한다.
• 입력 문장의 모든 위치에서 Lev-VAE의 단어 복원 정확도는 β-VAE보다 높았으며, 이는 Lev-VAE가 골드 표준 프리픽스에 의존하기보다는 잠재 코드를 더 효과적으로 활용하고 있음을 보여준다.
• 라벨이 부족한 데이터에서 다양한 라벨 비율을 적용한 반감독 설정에서 Lev-VAE는 모든 데이터 영역에서 β-VAE를 능가했으며, 이는 강건성과 일반화 능력을 확인한다.
• Yelp 데이터셋에서 모델는 거의 완벽한 자동에코 성능(복원 손실 ≈1.49)을 기록했으며, 이는 잠재 공간이 전체 문장 정보를 잘 포착하고 있음을 의미한다.