[논문 리뷰] Theory and Experiments on Vector Quantized Autoencoders

Aurko Roy, Ashish Vaswani외 2명|arXiv (Cornell University)|2018. 05. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 57

한 줄 요약

본 논문은 EM-inspired 접근법으로 VQ-VAE 학습을 개선하여 CIFAR-10의 이미지 생성이 더 우수해지고 지식 증류를 활용한 빠르고 비자동회귀(non-autoregressive) 번역 모델이 자 autoregressive Transformer 성능에 근접한다.

ABSTRACT

Deep neural networks with discrete latent variables offer the promise of better symbolic reasoning, and learning abstractions that are more useful to new tasks. There has been a surge in interest in discrete latent variable models, however, despite several recent improvements, the training of discrete latent variable models has remained challenging and their performance has mostly failed to match their continuous counterparts. Recent work on vector quantized autoencoders (VQ-VAE) has made substantial progress in this direction, with its perplexity almost matching that of a VAE on datasets such as CIFAR-10. In this work, we investigate an alternate training technique for VQ-VAE, inspired by its connection to the Expectation Maximization (EM) algorithm. Training the discrete bottleneck with EM helps us achieve better image generation results on CIFAR-10, and together with knowledge distillation, allows us to develop a non-autoregressive machine translation model whose accuracy almost matches a strong greedy autoregressive baseline Transformer, while being 3.3 times faster at inference.

연구 동기 및 목표

• 기호적 추론 및 데이터 압축을 위한 이산 잠재 표현의 동기를 부여한다.
• 기존 휴리스틱을 넘어 VQ-VAE의 이산 병목 현상의 학습 전략을 탐구한다.
• 이산 잠재 코드 학습을 개선하기 위해 EM-inspired 업데이트를 활용한다.
• EM과 증류를 통해 이미지 생성과 기계 번역의 향상을 입증한다.

제안 방법

• 이산 병목과 최근접 이웃 코드북 조회를 갖는 VQ-VAE를 설명한다.
• hard EM 및 K-means와 VQ-VAE 업데이트 및 EMA 기반 코드북 학습 간의 연결을 확립한다.
• 이산 잠재 변수에 대해 몬테카를로 EM 업데이트를 포함한 소프트 EM을 도입한다.
• 학습된 이산 잠재에 대해 Latent Predictor를 학습된 이산 잠재에 대해 자동회귀 방식으로 학습하고 디코더로 해독한다.
• 문장 수준의 지식 증류를 적용하여 비자동회귀 번역을 개선한다.
• 무조건적 이미지 생성을 위한 CIFAR-10과 감독 학습 번역을 위한 WMT English-German에서 평가한다.

실험 결과

연구 질문

• RQ1 이전 휴리스틱과 비교하여 EM-inspired 학습이 VQ-VAE의 이산 잠재 학습을 개선할 수 있는가?
• RQ2 몬테카를로 업데이트를 포함한 소프트 EM이 VQ-VAE에서 하드 EM보다 더 안정적이고 높은 품질의 학습을 제공하는가?
• RQ3 EM으로 학습된 VQ-VAE 모델은 자동회귀 및 비자동회귀 기준선에 비해 이미지 생성 작업(CIFAR-10)과 번역 작업(WMT English-German)에서 어떻게 성능을 보이는가?
• RQ4 코드북 크기와 증류가 번역 품질 및 디코딩 속도에 어떤 영향을 미치는가?

주요 결과

모델	코드북 크기	BLEU	지연 시간	속도향상
Autoregressive Model (beam size=4)	-	28.1	331 ms	1x
Autoregressive Baseline (no beam-search)	-	27.0	265 ms	1.25x
NAT + distillation	-	17.7	39 ms	15.6x
NAT + distillation + NPD=10	-	18.7	79 ms	7.68x
NAT + distillation + NPD=100	-	19.2	257 ms	2.36x
LT + Semhash	-	19.8	105 ms	3.15x
Our Results | VQ-VAE	-	21.4	81 ms	4.08x
VQ-VAE with EM	-	22.4	81 ms	4.08x
VQ-VAE + distillation	-	26.4	81 ms	4.08x
VQ-VAE with EM + distillation	-	26.7	81 ms	4.08x
VQ-VAE with EM + distillation | n_c=4	-	25.4	58 ms	5.71x

• EM 학습은 Product Quantization 없이 기본 VQ-VAE에 비해 CIFAR-10 이미지 생성을 향상한다.
• On WMT14 English-German, EM with distillation achieves BLEU of 26.7, close to a greedy Transformer (27.0) and faster by 3.3x.
• Soft EM with Monte-Carlo updates yields more stable and higher BLEU than hard EM in translation experiments.
• Code-book size of 2^12 yields best translation BLEU among tested sizes; larger sizes did not improve results.
• Non-autoregressive translation with EM and distillation achieves competitive BLEU while significantly reducing decoding latency (e.g., 81 ms vs 331 ms for autoregressive).
• EM-enabled VQ-VAE achieves 22.4 BLEU on WMT14 with EM, and 26.7 BLEU with distillation, illustrating strong gains from the proposed training.