[논문 리뷰] Deterministic Decoding for Discrete Data in Variational Autoencoders

Daniil Polykovskiy, Dmitry Vetrov|arXiv (Cornell University)|2020. 03. 04.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 이산 순차 데이터에서 분리된 표현 학습을 향상시키기 위해 확률적 복원을 argmax 기반의 결정론적 생성으로 대체하는 결정론적 복원 변분 오토인코더(Deterministic Decoding Variational Autoencoders, DD-VAE)를 제안한다. 유계 지지도 제안 분포와 argmax의 연속적 근사화를 사용함으로써, 표준 VAE에 비해 더 높은 재구성 정확도와 분자 성질 최적화에서 더 나은 최종 성능을 달성한다.

ABSTRACT

Variational autoencoders are prominent generative models for modeling discrete data. However, with flexible decoders, they tend to ignore the latent codes. In this paper, we study a VAE model with a deterministic decoder (DD-VAE) for sequential data that selects the highest-scoring tokens instead of sampling. Deterministic decoding solely relies on latent codes as the only way to produce diverse objects, which improves the structure of the learned manifold. To implement DD-VAE, we propose a new class of bounded support proposal distributions and derive Kullback-Leibler divergence for Gaussian and uniform priors. We also study a continuous relaxation of deterministic decoding objective function and analyze the relation of reconstruction accuracy and relaxation parameters. We demonstrate the performance of DD-VAE on multiple datasets, including molecular generation and optimization problems.

연구 동기 및 목표

• 유연한 확률적 복원기를 가진 표준 VAE에서 잠재 코드 忽시 문제를 해결하기 위해.
• 결정론적 복원을 강제하여 이산 순차 데이터에서 분리되고 구조화된 표현 학습을 향상시키기 위해.
• 기울기 역전파를 통한 엔드 투 엔드 훈련을 가능하게 하기 위해 argmax 복원 목표의 연속적 근사화를 개발하기 위해.
• 분자 생성 및 베이지안 최적화와 같은 최종 작업에서 향상된 성능을 입증하기 위해.
• 유계 지지도 제안 분포 하에서 KL 발산과 재구성의 이론적 분석을 제공하기 위해.

제안 방법

• 각 단계에서 디코더 출력 분포에 대한 argmax를 사용해 최고 점수를 받는 토큰을 선택하는 결정론적 디코더를 제안한다.
• 완전 지지도 제안 분포의 한계를 극복하기 위해 손실 없는 자동 인코딩을 가능하게 하는 유계 지지도 제안 분포(예: 정규분포 및 균일분포)를 도입한다.
• 기울기 역전파를 통해 결정론적 복원 경로를 통한 훈련을 가능하게 하기 위해 Gumbel-Softmax 기법을 사용해 argmax 목표의 연속적 근사화를 유도한다.
• DD-VAE의 증거 하한(lower bound, ELBO)를 유도하고, 이완된 목표가 원래 문제의 최적 해로 수렴함을 증명한다.
• 재구성과 KL 항 간의 균형을 위해 온도 하이퍼파rameter τ를 사용하며, log-linear 단계 조절이 훈련 안정성을 향상시킴을 보여준다.
• 학습된 잠재 코드에 대해 희소 가우시안 프로세스를 적용하여 최종 작업에서 분자 성질의 베이지안 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 VAE에서의 결정론적 복원이 이산 순차 데이터에서 잠재 코드 忽시 문제를 방지하고 표현 학습을 향상시킬 수 있는가?
• RQ2 어떤 유형의 제안 분포가 결정론적 VAE에서 손실 없는 자동 인코딩을 지원하는가?
• RQ3 결정론적 복원에서의 argmax 연산은 기울기 역전파를 통한 엔드 투 엔드 훈련을 위해 어떻게 근사화될 수 있는가?
• RQ4 DD-VAE는 표준 VAE에 비해 분자 생성 및 성질 최적화에서 더 나은 최종 성능을 내는가?
• RQ5 다양한 사전 분포(Gaussian 대비 uniform)와 근사화 하이퍼파rameter가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• ZINC 데이터셋에서 DD-VAE는 89.89%의 시퀀스 재구성 정확도를 달성하여 표준 VAE 및 기타 베이스라인보다 재구성 및 유효성에서 뛰어난 성능을 보였다.
• 분자 성질 스코링을 위한 베이지안 최적화에서, tricube 제안 분포를 사용한 DD-VAE는 상위 1위 스코어 5.86를 기록하여 표준 VAE를 크게 능가했다.
• 유계 지지도 제안 분포(예: tricube)의 사용은 완전 지지도 분포(예: 정규분포)에서는 불가능한 손실 없는 자동 인코딩을 가능하게 했다.
• 균일 사전 분포를 사용한 DD-VAE는 더 균형 잡힌 잠재 코드 분포를 만들어 내어 최종 분류 및 시각화 작업에서 성능 향상을 이뤘다.
• argmax 목표의 연속적 근사화는 원래 비이완 문제의 최적 해로 수렴함을 보여, 훈련의 안정성과 정확성을 보장한다.
• 온도 하이퍼파rameter τ의 log-linear 단계 조절이 선형 단계 조절보다 더 나은 성능을 내며, 초기 τ 값은 재구성 및 KL 항 간의 기울기 척도 균형을 맞추기 위해 선택된다.