[논문 리뷰] Blockwise Parallel Decoding for Deep Autoregressive Models

Mitchell Stern, Noam Shazeer외 1명|arXiv (Cornell University)|2018. 11. 07.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 블록 단위로 병렬 디코딩을 제안하며, 자동회귀적 시퀀스 생성을 향상시키기 위해 다수의 토큰을 동시에 예측하고 점수 모델을 사용해 가장 긴 유효한 접두어를 검증함으로써 속도를 높이는 기법이다. 트랜스포머 모델에 적용했을 때, 품질 손실이 최소한이면서도 탐색 반복 수를 최대 2배 감소시키며, 최대 3.3배의 실시간 속도 향상을 달성했으며, 품질 저하가 약간 있는 경우 최대 7배까지 향상된다.

ABSTRACT

Deep autoregressive sequence-to-sequence models have demonstrated impressive performance across a wide variety of tasks in recent years. While common architecture classes such as recurrent, convolutional, and self-attention networks make different trade-offs between the amount of computation needed per layer and the length of the critical path at training time, generation still remains an inherently sequential process. To overcome this limitation, we propose a novel blockwise parallel decoding scheme in which we make predictions for multiple time steps in parallel then back off to the longest prefix validated by a scoring model. This allows for substantial theoretical improvements in generation speed when applied to architectures that can process output sequences in parallel. We verify our approach empirically through a series of experiments using state-of-the-art self-attention models for machine translation and image super-resolution, achieving iteration reductions of up to 2x over a baseline greedy decoder with no loss in quality, or up to 7x in exchange for a slight decrease in performance. In terms of wall-clock time, our fastest models exhibit real-time speedups of up to 4x over standard greedy decoding.

연구 동기 및 목표

• 병렬 처리 가능한 아키텍처를 가졌음에도 불구하고 자동회귀적 시퀀스 생성의 본질적인 순차적 병목 현상을 해결하기 위해.
• 생성 품질을 훼손시키지 않은 채 깊은 자동회귀 모델에서 더 빠른 디코딩을 가능하게 하기 위해.
• 기존 모델과 호환되며 최소한의 아키텍처 변경이 필요한 방법을 개발하기 위해.
• 다양한 시퀀스-투-시퀀스 작업에서 디코딩 속도와 성능 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• 기존의 다음 토큰 예측을 넘어서, 향후 k개의 토큰을 동시에 예측할 수 있도록 보조 모델을 훈련한다.
• 추론 단계에서, 이 보조 모델을 사용해 k개의 향후 위치에 대한 후보 시퀀스를 동시에 생성한다.
• 기본 모델이 모든 예측된 위치를 동시에 점수 매김으로써, 탐욕적 디코딩에서 실제로 생성되었을 가장 긴 접두어를 검증한다.
• 검증된 접두어 길이가 1을 초과할 경우, 알고리즘이 여러 개의 디코딩 단계를 건너뛰게 되어 반복 수가 최대 k 배 감소한다.
• 이 방법은 기존 트랜스포머 기반 모델에 적용되어 번역 및 이미지 초해상도 복원에 사용되었으며, 모델 수정이 최소한이었다.
• 지식 정복과 근사 디코딩과의 호환성이 있어, 품질 손실을 최소한으로 하면서 추가적인 속도 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자동회귀 모델에서 다수의 토큰을 동시에 예측하는 것이 출력 품질을 훼손시키지 않고도 디코딩 반복 수를 크게 줄일 수 있는가?
• RQ2 기존의 가속 기법과 비교했을 때, 블록 단위 병렬 디코딩은 속도와 성능 간의 상호 교환 관계에서 어떤가?
• RQ3 이 방법은 얼마나 적은 아키텍처 변경으로 기존 모델에 적용할 수 있는가?
• RQ4 블록 크기 k를 증가시킬 경우 시퀀스-투-시퀀스 작업에서 속도 향상과 생성 품질에 어떤 영향을 미치는가?
• RQ5 지식 정복과 근사 디코딩과의 조합이 추가적인 속도 향상에 효과적으로 기여할 수 있는가?

주요 결과

• 영어-독일어 번역 작업에서 블록 단위 병렬 디코딩은 표준 탐욕적 디코딩 대비 최대 3.31배의 실시간 속도 향상을 달성했으며, 기준 모델 대비 BLEU 점수에서 0.29 포인트의 감소만을 보였다.
• k=2일 경우, 품질에 손실 없이 디코딩 반복 수를 2배 감소시켰으며, 기준 모델의 BLEU 점수 29.11 대비 28.95를 유지했다.
• k=8일 경우, BLEU 점수 27.88을 유지하면서도 실시간 속도 향상이 최대 3.31배에 달했으며, 강력한 확장성을 입증했다.
• 이미지 초해상도 복원 작업에서는 최대 7배의 디코딩 반복 감소를 달성했으며, 약간의 성능 저하가 있었고, 이는 4배의 월클록 속도 향상에 해당했다.
• 사람 평가 결과, 블록 단위 디코딩 결과는 특히 작은 블록 크기에서 표준 탐욕적 디코딩 결과와 품질이 거의 동일한 것으로 확인되었다.
• 이 방법은 기계 번역 및 이미지 생성을 포함한 다양한 작업에서 효과적이며, 정복 및 근사 디코딩과 조합하여 추가적인 성능 향상을 얻을 수 있다.