[논문 리뷰] Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network

Chengyi Wang, Shuangzhi Wu외 1명|arXiv (Cornell University)|2019. 09. 05.

Natural Language Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 자동회귀적 디코더를 단일층 RNN로 대체하면서도 자기주의 주의 인코더를 유지하는 하이브리드 트랜스포머 아키텍처를 제안한다. 이로 인해 원래 트랜스포머보다 최대 4.1배 빠른 디코딩 속도를 달성한다. 전체 트랜스포머 교사 모델로부터 지식 정복을 통해 하이브리드 모델은 경쟁력 있는 번역 품질을 유지하며, NIST 및 WMT2017 벤치마크에서 기준 성능을 matching하거나 초월한다.

ABSTRACT

Due to the highly parallelizable architecture, Transformer is faster to train than RNN-based models and popularly used in machine translation tasks. However, at inference time, each output word requires all the hidden states of the previously generated words, which limits the parallelization capability, and makes it much slower than RNN-based ones. In this paper, we systematically analyze the time cost of different components of both the Transformer and RNN-based model. Based on it, we propose a hybrid network of self-attention and RNN structures, in which, the highly parallelizable self-attention is utilized as the encoder, and the simpler RNN structure is used as the decoder. Our hybrid network can decode 4-times faster than the Transformer. In addition, with the help of knowledge distillation, our hybrid network achieves comparable translation quality to the original Transformer.

연구 동기 및 목표

• 자기주의 주의와 다중 헤드 어텐션의 높은 계산 비용으로 인해 느린 추론 속도를 보이는 트랜스포머 모델의 문제를 해결하기 위해.
• 자기주의 주의의 병렬 처리 능력과 RNN의 빠른 추론 성능을 조합함으로써 더 효율적인 디코딩 시스템을 얻을 수 있는지 탐색하기 위해.
• 완전한 트랜스포머 디코더를 더 단순한 RNN 아키텍처로 대체함에도 불구하고 높은 번역 품질을 유지하기 위해.
• 지식 정복이 경량 하이브리드 모델의 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 하이브리드 모델이 표준 벤치마크에서 번역 품질을 손상시키지 않고도 상당한 속도 향상을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 원래 트랜스포머에서 사용하는 표준 자기주의 주의 기반 인코더를 사용하며, 다중 헤드 어텐션과 잔차 연결을 통해 장거리 의존성을 효과적으로 포착한다.
• 디코더는 단일층 GRU 기반 RNN으로 대체되어, 각 단계에서 전체 시퀀스 어텐션 계산이 필요 없어지므로 자동회귀적 생성 속도가 향상된다.
• 하이브리드 모델은 먼저 목표 시퀀스에 대한 최대우도추정(MLE)을 사용하여 사전학습한다.
• 시퀀스 수준의 지식 정복이 적용되며, 전체 트랜스포머가 교사 모델로 작동하여 훈련 중에 학생 하이브리드 모델을 안내함으로써 번역 품질을 향상시킨다.
• 기준 모델과 하이브리드 모델 모두에서 키-밸류 쌍의 사전 계산 및 가중치 융합 기법을 사용하여 공정한 속도 비교를 보장한다.
• 실험은 빔 크기 12와 길이 페널티 1.0을 사용한 빔 서치를 통해 NIST 및 WMT2017 중국-영어 번역 작업에서 수행된다.

실험 결과

연구 질문

• RQ1 완전한 트랜스포머 디코더를 경량 RNN으로 대체함으로써 추론 속도를 크게 향상시킬 수 있을까? 이때 번역 품질은 손상되지 않을까?
• RQ2 동일한 조건에서 하이브리드 모델의 디코딩 속도는 표준 RNN 기반 모델과 전체 트랜스포머 모델에 비해 어떻게 비교될까?
• RQ3 지식 정복이 경량 하이브리드 모델의 성능 향상에 얼마나 기여할 수 있을까? 전체 트랜스포머 성능에 도달하거나 이를 초월할 수 있을까?
• RQ4 자기주의 주의, RNN, 지식 정복 각각의 구성 요소가 전체적인 속도-정확도 트레이드오프에 기여하는 정도는 어떠한가?
• RQ5 하이브리드 아키텍처는 다양한 모델 깊이와 다양한 데이터셋 유형에서도 강력한 성능을 유지하는가?

주요 결과

• 6층 하이브리드 모델은 NIST 데이터셋에서 6층 트랜스포머 기준 모델 대비 4.1배 빠른 디코딩 속도를 기록했으며, 디코딩 시간은 420초에서 107초로 감소했다.
• WMT2017 중국-영어 번역 작업에서 하이브리드 모델은 6층 트랜스포머 기준 모델 대비 3.9배 빠른 디코딩 속도를 기록했으며, 디코딩 시간은 420초에서 114초로 감소했다.
• 지식 정복을 적용한 하이브리드 모델은 WMT2017에서 BLEU 점수 22.50을 기록했으며, 이는 전체 트랜스포머 교사 모델의 23.08점과 매우 유사했다.
• 지식 정복 없이도 하이브리드 모델은 표준 RNMT 기준 모델을 능가했으며, 지식 정복을 적용하면 RNMT를 1 BLEU 이상 초월하는 성능을 보였다.
• 단일층 RNN 디코더를 가진 하이브리드 모델는 지식 정복을 거친 후, 2, 4, 6층의 더 깊은 RNN 변형과 유사한 BLEU 점수를 기록했으며, 이는 지식 정복이 적용된 경우 깊이가 덜 중요하다는 것을 시사한다.
• NIST에서 RNN 디코더의 시간 소모는 트랜스포머 디코더보다 현저히 낮았다 — 138.0초 대비 434.1초로, 어텐션 중심 디코딩을 RNN으로 대체함으로써 효율성 향상이 확인되었다.