[論文レビュー] Theory and Experiments on Vector Quantized Autoencoders

Aurko Roy, Ashish Vaswani+2 more|arXiv (Cornell University)|May 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 57

ひとこと要約

この論文はEM風のアプローチを用いたVQ-VAEの訓練を改善し、CIFAR-10の画像生成性能を向上させ、蒸留を組み合わせた高速で自己回帰しない翻訳モデルを実現して、自己回帰型トランスフォーマーの性能に近づける。

ABSTRACT

Deep neural networks with discrete latent variables offer the promise of better symbolic reasoning, and learning abstractions that are more useful to new tasks. There has been a surge in interest in discrete latent variable models, however, despite several recent improvements, the training of discrete latent variable models has remained challenging and their performance has mostly failed to match their continuous counterparts. Recent work on vector quantized autoencoders (VQ-VAE) has made substantial progress in this direction, with its perplexity almost matching that of a VAE on datasets such as CIFAR-10. In this work, we investigate an alternate training technique for VQ-VAE, inspired by its connection to the Expectation Maximization (EM) algorithm. Training the discrete bottleneck with EM helps us achieve better image generation results on CIFAR-10, and together with knowledge distillation, allows us to develop a non-autoregressive machine translation model whose accuracy almost matches a strong greedy autoregressive baseline Transformer, while being 3.3 times faster at inference.

研究の動機と目的

• Symbolic reasoningとデータ圧縮のための離散潜在表現を動機づける。
• 既存のヒューリスティックを超えるVQ-VAEの離散ボトルネックの訓練戦略を探る。
• EM風の更新を活用して離散潜在コードの学習を改善する。
• EMと蒸留を通じて画像生成と機械翻訳の利得を示す。

提案手法

• 離散ボトルネックと最近傍コードブック検索を持つVQ-VAEを記述する。
• Hard EMとK-meansのVQ-VAE更新およびEMAベースのコードブック学習との関連を確立する。
• 離散潜在変数のMonte-Carlo EM更新を用いたSoft EMを導入する。
• 学習した離散潜在変数に対してLatent Predictorを自己回帰的に訓練し、デコーダでデコードする。
• 非自己回帰翻訳を改善するためのシーケンスレベルの知識蒸留を適用する。
• CIFAR-10による無条件の画像生成とWMT English-Germanによる教師付き翻訳の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 EM風の訓練は従来のヒューリスティックと比較してVQ-VAEの離散潜在の学習を改善できるか？
• RQ2 Monte-Carlo更新を用いたSoft EMはHard EMよりも安定し高品質な学習を提供するか？
• RQ3 EMで訓練したVQ-VAEは画像生成タスク（CIFAR-10）と翻訳タスク（WMT English-German）で自己回帰・非自己回帰ベースラインと比較してどうか？
• RQ4 コードブックサイズと蒸留が翻訳品質とデコード速度に与える影響は？

主な発見

Model	Code-book size	BLEU	Latency	Speedup
Autoregressive Model (beam size=4)	-	28.1	331 ms	1x
Autoregressive Baseline (no beam-search)	-	27.0	265 ms	1.25x
NAT + distillation	-	17.7	39 ms	15.6x
NAT + distillation + NPD=10	-	18.7	79 ms	7.68x
NAT + distillation + NPD=100	-	19.2	257 ms	2.36x
LT + Semhash	-	19.8	105 ms	3.15x
Our Results | VQ-VAE	-	21.4	81 ms	4.08x
VQ-VAE with EM	-	22.4	81 ms	4.08x
VQ-VAE + distillation	-	26.4	81 ms	4.08x
VQ-VAE with EM + distillation	-	26.7	81 ms	4.08x
VQ-VAE with EM + distillation | n_c=4	-	25.4	58 ms	5.71x

• EM訓練はベースラインVQ-VAE（商品量子化なし）よりCIFAR-10画像生成を改善する。
• WMT14 English-Germanでは蒸留を伴うEMがBLEU=26.7を達成し、Greedy Transformer（27.0）に近く、3.3x高速。
• Monte-Carlo更新を用いたSoft EMは翻訳実験でHard EMより安定し高BLEUを示す。
• 試験されたサイズの中でコードブックサイズ2^12が最良のBLEUを示し、より大きなサイズは改善をもたらさなかった。
• EMと蒸留を組み合わせた非自己回帰翻訳は競合的なBLEUを達成しつつデコード待機時間を大幅に削減（例: 自回帰は331 msに対して81 ms）。
• EM対応VQ-VAEはWMT14でBLEU=22.4を達成し、蒸留を用いるとBLEU=26.7に達し、提案訓練の強力な効果を示す。