[논문 리뷰] Lossless Acceleration for Seq2seq Generation with Aggressive Decoding

Tao Ge, Heming Xia외 3명|arXiv (Cornell University)|2022. 05. 20.

Algorithms and Data Compression인용 수 6

한 줄 요약

이 논문은 순서 기반 자동 회귀적 디코딩을 병렬적 공격적 디코딩과 이후 자동 회귀적 검증으로 대체하는 손실 없는 가속화 방법인 Aggressive Decoding를 제안한다. 기계 번역, 요약 생성, 문법 오류 수정 등의 작업에서 탐색적 자동 회귀적 디코딩 대비 3배에서 9배의 속도 향상을 이룩했으며, 동일하거나 향상된 생성 품질을 유지를 하면서 병렬 컴퓨팅을 활용해 품질의 희생 없이 효율성을 달성한다.

ABSTRACT

We study lossless acceleration for seq2seq generation with a novel decoding algorithm -- Aggressive Decoding. Unlike the previous efforts (e.g., non-autoregressive decoding) speeding up seq2seq generation at the cost of quality loss, our approach aims to yield the identical (or better) generation compared with autoregressive decoding but in a significant speedup, achieved by innovative cooperation of aggressive decoding and verification that are both efficient due to parallel computing. We propose two Aggressive Decoding paradigms for 2 kinds of seq2seq tasks: 1) For the seq2seq tasks whose inputs and outputs are highly similar (e.g., Grammatical Error Correction), we propose Input-guided Aggressive Decoding (IAD) that aggressively copies from the input sentence as drafted decoded tokens to verify in parallel; 2) For other general seq2seq tasks (e.g., Machine Translation), we propose Generalized Aggressive Decoding (GAD) that first employs an additional non-autoregressive decoding model for aggressive decoding and then verifies in parallel in the autoregressive manner. We test Aggressive Decoding on the most popular 6-layer Transformer model on GPU in multiple seq2seq tasks: 1) For IAD, we show that it can introduce a 7x-9x speedup for the Transformer in Grammatical Error Correction and Text Simplification tasks with the identical results as greedy decoding; 2) For GAD, we observe a 3x-5x speedup with the identical or even better quality in two important seq2seq tasks: Machine Translation and Abstractive Summarization. Moreover, Aggressive Decoding can benefit even more from stronger computing devices that are better at parallel computing. Given the lossless quality as well as significant and promising speedup, we believe Aggressive Decoding may potentially evolve into a de facto standard for efficient and lossless seq2seq generation in the near future.

연구 동기 및 목표

• 순서 기반 자동 회귀적 디코딩이 한 번에 한 토큰씩 처리하기 때문에 추론 속도에 한계를 가지는 문제를 해결한다.
• 비자기 회귀적 디코딩과 같은 이전의 가속화 방법에서 흔히 발생하는 품질 저하 문제를 해결한다. 이는 속도를 위해 출력 품질을 희생시키는 방식이다.
• 병렬 처리를 통해 추론 속도를 크게 향상시키면서도 자동 회귀적 생성 품질을 유지하는 디코딩 프레임워크를 개발한다.
• 입력 유사도가 높은 작업(예: GEC)과 일반적인 시퀀스-투-시퀀스 작업(예: MT)에 적합한 태스크별로 특화된 공격적 디코딩의 변형을 설계한다.

제안 방법

• 두 단계 과정인 공격적 디코딩을 제안한다: 첫 번째로 병렬적으로 다수의 초안 토큰을 공격적으로 생성하고, 두 번째로 자동 회귀적 점수 평가를 통해 정확성을 검증한다.
• 입력 기반 공격적 디코딩(IAD)을 도입하여 입력 문장 자체를 초안 시퀀스로 사용하는, 입력-출력 유사도가 높은 작업(예: GEC, 텍스트 단순화)에 적합하게 한다.
• 일반화된 공격적 디코딩(GAD)을 도입하여 일반적인 시퀀스-투-시퀀스 작업(예: MT, 요약 생성)에 적합하게 하며, 별도의 비자기 회귀(NAR) 모델을 사용해 초안 토큰을 생성한다.
• 병렬 검증을 적용한다: 자동 회귀적 검증을 통과한 토큰들만 수락되며, 이로 인해 표준 자동 회귀적 디코딩과 동일한 출력 무결성을 확보한다.
• GPU에서의 하드웨어 활용도를 극대화하기 위해 초안 생성 및 검증 단계 모두에서 병렬 컴퓨팅을 활용한다.
• GAD에서 NAR 및 AR 구성 요소 모두에 대해 입력을 병렬로 인코딩함으로써 순차적 병목 현상을 줄이고 추론을 최적화한다.

실험 결과

연구 질문

• RQ1 순차적 디코딩을 병행 가능한 대안으로 대체함으로써, 생성 품질을 훼손하지 않고도 시퀀스-투-시퀀스 생성을 가속화할 수 있는가?
• RQ2 자기 회귀적 디코딩과 동일하거나 향상된 출력 품질을 보장하면서도 상당한 속도 향상을 달성할 수 있는 디코딩 전략을 어떻게 설계할 수 있는가?
• RQ3 입력-출력 유사도가 높은 작업과 일반 번역 작업 간의 차이를 고려해, 태스크별로 특화된 초안 생성 전략을 사용하는 통합 프레임워크를 개발할 수 있는가?
• RQ4 더 강력한 하드웨어, 특히 더 나은 병렬 컴퓨팅 능력을 지닌 장치에서 공격적 디코딩은 어느 정도의 이점을 얻을 수 있는가?
• RQ5 비자기 회귀적 초안 모델의 향상에 따라 공격적 디코딩의 성능는 어떻게 변화하며, 현재 구현에서의 주요 병목 요소는 무엇인가?

주요 결과

• 입력 기반 공격적 디코딩(IAD)은 문법 오류 수정 및 텍스트 단순화 작업에서 탐색적 자동 회귀적 디코딩 대비 7배에서 9배의 속도 향상을 이룩했으며, 동일한 출력 품질을 유지한다.
• 일반화된 공격적 디코딩(GAD)은 기계 번역 및 개괄적 요약 생성 작업에서 3배에서 5배의 속도 향상을 달성했으며, 생성 품질은 자동 회귀적 디코딩과 동일하거나 이를 초월한다.
• 속도 향상은 하드웨어 병렬 처리 능력에 크게 의존하며, 더 강력한 GPU를 사용할수록 성능 향상이 더욱 두드러지므로, 계산 자원 증가에 따라 강력한 확장성을 보인다.
• 검증 단계는 모든 수락된 출력이 자동 회귀적 디코딩과 정확히 동일함을 보장하므로, 이 방법이 손실 없는 성격임을 확인한다.
• GAD에서 NAR 초안 모델은 주요 병목 요소로, 이중 주의(multi-head attention)와 계산 캐싱의 부재로 인해 AR 검증 단계보다 더 오랜 시간 소요된다.
• NAR 및 AR 구성 요소의 입력 인코딩 단계는 총 추론 시간의 약 16%를 차지하므로, 병렬 인코딩을 통해 최적화 가능성이 있음을 시사한다.