[논문 리뷰] Fast Decoding in Sequence Models using Discrete Latent Variables

Łukasz Kaiser, Aurko Roy외 5명|arXiv (Cornell University)|2018. 03. 09.

Natural Language Processing Techniques참고 문헌 34인용 수 178

한 줄 요약

논문은 대상 시퀀스를 더 짧은 이산 잠재 시퀀스로 자동 인코딩하는 잠재 변환기 Latent Transformer를 소개하여 병렬 디코딩을 가능하게 하고 신경 기계 번역에서 BLEU가 경쟁력 있게 빠르게 디코딩되도록 한다.

ABSTRACT

Autoregressive sequence models based on deep neural networks, such as RNNs, Wavenet and the Transformer attain state-of-the-art results on many tasks. However, they are difficult to parallelize and are thus slow at processing long sequences. RNNs lack parallelism both during training and decoding, while architectures like WaveNet and Transformer are much more parallelizable during training, yet still operate sequentially during decoding. Inspired by [arxiv:1711.00937], we present a method to extend sequence models using discrete latent variables that makes decoding much more parallelizable. We first auto-encode the target sequence into a shorter sequence of discrete latent variables, which at inference time is generated autoregressively, and finally decode the output sequence from this shorter latent sequence in parallel. To this end, we introduce a novel method for constructing a sequence of discrete latent variables and compare it with previously introduced methods. Finally, we evaluate our model end-to-end on the task of neural machine translation, where it is an order of magnitude faster at decoding than comparable autoregressive models. While lower in BLEU than purely autoregressive models, our model achieves higher scores than previously proposed non-autoregressive translation models.

연구 동기 및 목표

• 자동회귀 시퀀스 모델의 빠른 디코딩을 촉진한다.
• 타깃 시퀀스를 압축하기 위한 이산 잠재 병목을 제안한다.
• 이산 잠재를 활용하는 엔드-투-엔드 가능한 Latent Transformer를 개발한다.
• 신경 기계 번역에 대해 평가하고 자동회귀 및 비자동회귀 베이스라인들과 비교한다.

제안 방법

• y를 l로 인코딩하여 m < n인 이산 잠재 병목(Gumbel-Softmax, 향상된 의미 해싱, VQ-VAE, 및 분해된 벡터 양자화를)을 도입한다.
• y, x를 인코딩하는 자동인코더 ae(y, x)로 l을 생성하고, x로부터 l을 자동회귀적으로 생성하는 잠재 예측기 lp(x), 그리고 l, x에 조건부로 y를 병렬 재구성하는 디코더 ad(l, x)로 구성된 Latent Transformer를 학습한다.
• Transformer 기반의 lp를 사용한 자동회귀 잠재 예측과 x 및 l에 조건화된 병렬 디코더 ad를 활용한다.
• 공동 목적 lr + llp를 최적화한다. 여기서 lr은 자동인코더 재구성 손실이고 llp는 잠재 예측 손실이다.
• 큰 잠재 알파벳을 관리하고 코드워드 붕괴를 피하기 위해 다양한 이산화 병목 및 DVQ 변형을 실험한다.

실험 결과

연구 질문

• RQ1 이산 잠재 변수가 대상 시퀀스를 충분히 압축하여 병렬 디코딩을 가능하게 하면서 번역 품질의 심한 손실 없이 가능하게 할 수 있는가?
• RQ2 어떤 이산화 병목( Gumbel-Softmax, 향상된 의미 해싱, VQ-VAE, DVQ 및 DVQ 변형)이 NMT에 대해 최적의 속도-품질 트레이드오프를 제공하는가?
• RQ3 Latent Transformer가 BLEU와 디코딩 지연 시간에서 자동회귀 및 비자동회귀 베이스라인과 어떻게 비교되는가?

주요 결과

모델	BLEU	Latency_b1 (ms)	Latency_b64 (ms)
LT Improved Semhash	19.8	105 ms	8 ms
LT VQ-VAE	2.78	148 ms	7 ms
LT s-DVQ	19.7	177 ms	7 ms
LT p-DVQ	19.8	182 ms	8 ms

• Latent Transformer는 번역 작업에서 자동회귀 모델보다 디코딩이 한 차례 더 빠르다.
• DVQ 또는 향상된 의미 해싱을 사용하면 빠른 디코딩으로 강력한 BLEU를 얻고, 여러 설정에서 수동으로 조정된 비자동회귀 접근법을 능가한다.
• VQ-VAE 단독은 이 작업에 대해 성능이 떨어지며, 두 가지 분해를 가진 분해된 DVQ가 잠재 사용 및 성능을 극대화한다.
• 잠재 시퀀스 길이가 n/m = 8일 때 LT는 BLEU 점수 약 19.7–19.8 사이를 달성하며 디코딩 지연도 경쟁력 있다.
• 상위 k 개의 번역을 LT 방식으로 재스코어링하면 빔 서치 없이 자동회귀 베이스라인에 대한 격차를 줄인다.
• 이 방법은 n/m 비율과 잠재 알파벳 크기 K를 조정하여 속도와 정확성 간의 균형을 가능하게 한다.