[논문 리뷰] Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring

Hirofumi Inaguma, Yosuke Higuchi외 3명|arXiv (Cornell University)|2021. 09. 09.

Natural Language Processing Techniques참고 문헌 94인용 수 4

한 줄 요약

이 논문은 비자기적(end-to-end) 음성 번역 프레임워크인 Orthros를 제안한다. 이는 번역 품질을 저하시키지 않은 채 디코딩 속도를 유지하면서도, 병렬 자동회귀 재평가(parallel autoregressive rescoring) 기법을 사용하여 번역 품질을 향상시킨다. 비자기적 디코더와 경량 자동회귀 디코더를 함께 훈련시켜 재평가 기능을 구현함으로써, Orthros는 자동회귀 모델과 유사한 BLEU 점수를 달성하면서도 CPU에서 최대 3.63배 빠른 추론 속도를 확보한다. 특히 Conformer 인코더와 CTC 기반 디코더를 사용할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

This article describes an efficient end-to-end speech translation (E2E-ST) framework based on non-autoregressive (NAR) models. End-to-end speech translation models have several advantages over traditional cascade systems such as inference latency reduction. However, conventional AR decoding methods are not fast enough because each token is generated incrementally. NAR models, however, can accelerate the decoding speed by generating multiple tokens in parallel on the basis of the token-wise conditional independence assumption. We propose a unified NAR E2E-ST framework called Orthros, which has an NAR decoder and an auxiliary shallow AR decoder on top of the shared encoder. The auxiliary shallow AR decoder selects the best hypothesis by rescoring multiple candidates generated from the NAR decoder in parallel (parallel AR rescoring). We adopt conditional masked language model (CMLM) and a connectionist temporal classification (CTC)-based model as NAR decoders for Orthros, referred to as Orthros-CMLM and Orthros-CTC, respectively. We also propose two training methods to enhance the CMLM decoder. Experimental evaluations on three benchmark datasets with six language directions demonstrated that Orthros achieved large improvements in translation quality with a very small overhead compared with the baseline NAR model. Moreover, the Conformer encoder architecture enabled large quality improvements, especially for CTC-based models. Orthros-CTC with the Conformer encoder increased decoding speed by 3.63x on CPU with translation quality comparable to that of an AR model.

연구 동기 및 목표

• 비자기적(NAR) 모델의 품질-속도 트레이드오���을 해결하기 위해 번역 품질을 유지하면서도 NAR 모델의 속도를 높이는 것.
• NAR 모델의 탐색 가능성과 가설 선택 성능을 향상시키기 위해, 일반적으로 약한 순서 수준 점수 기반으로 최적 번역을 식별하지 못하는 문제를 해결하는 것.
• 공통 인코더를 공유하는 NAR 및 보조 자동회귀(AR) 디코더를 동시에 훈련할 수 있는 통합 프레임워크를 개발하는 것.
• 다중 마스크 훈련과 텍스트 전용 NAR 기계번역(MT)과의 공동 사전 훈련을 통해 조건부 마스크 언어 모델(CMLM) 디코더의 훈련을 향상시키는 것.
• Conformer 인코더가 다양한 언어 방향성과 음성 길이에서 NAR 모델 성능을 향상시키는 데 기여하는지 평가하는 것.

제안 방법

• 공통 인코더, 비자기적(NAR) 디코더, 그리고 병렬 재평가를 위한 보조 얕은 자동회귀(AR) 디코더를 갖춘 통합 NAR E2E-ST 프레임워크인 Orthros를 도입한다.
• 병렬 AR 재평가를 적용: 다양한 길이의 NAR가 생성한 가설들을 동시에 AR 디코더가 점수 매기며 최적 번역을 선별한다.
• 조건부 마스크 언어 모델(CMLM)과 커넥티스트 타임클래시피케이션(CTC)-기반 모델을 NAR 디코더로 사용하며, 각각 Orthros-CMLM과 Orthros-CTC로 지칭한다.
• 각 샘플에 대해 여러 입력 뷰를 노출시켜 일반화 능력을 향상시키기 위해 다중 마스크 훈련(MMT)을 적용한다.
• 보조 지도 학습을 통해 CMLM 디코더 성능을 향상시키기 위해 텍스트 입력 NAR MT 작업과 공동 훈련을 수행한다.
• 표현 학습 능력을 향상시키기 위해 특히 장기 음성에 대해 유리한 성능을 발휘하는 Conformer 인코더를 적용하여 모든 NAR 모델의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 병렬 자동회귀 재평가가 디코딩 지연을 증가시키지 않으면서도 비자기적 음성 번역 모델의 번역 품질을 크게 향상시킬 수 있는가?
• RQ2 경량 자동회귀 디코더를 재평가 헤드로 통합함으로써 NAR 모델의 가설 선택 성능이 향상되는가?
• RQ3 다중 마스크 훈련과 텍스트 전용 NAR MT와의 공동 사전 훈련이 CMLM 디코더 성능 향상에 얼마나 효과적인가?
• RQ4 Conformer 인코더 아키텍처가 NAR E2E-ST 모델에서 번역 품질 향상과 장기 음성에 대한 강건성 향상에 얼마나 기여하는가?
• RQ5 병렬 AR 재평가 기능을 갖춘 NAR 모델이 자동회귀 수준의 번역 품질을 달성하면서도 고속 디코딩을 유지할 수 있는가?

주요 결과

• Conformer 인코더를 사용한 Orthros-CTC는 CPU에서 자동회귀 모델과 동일한 BLEU 점수를 확보하면서도 최대 3.63배 빠른 속도를 기록했다.
• 병렬 AR 재평가 기법은 모든 모델과 언어 쌍에서 BLEU 점수 향상을 일관되게 달성했으며, 길이 빔 크기 $ l $ 가 증가할수록 성능 향상이 커졌다.
• 다중 마스크 훈련과 공동 NAR MT 사전 훈련을 적용한 Orthros-CMLM은 기준 CMLM 대비 4.6점의 BLEU 향상을 달성했으며, 순서 지식 정규화를 사용한 대규모 자동회귀 모델 수준의 성능을 재현했다.
• Conformer 인코더는 특히 CTC 기반 모델의 번역 품질을 크게 향상시켰고, 장기 음성(최대 60초)에 대한 강건성도 향상시켰으며, 30초가 넘는 길이에서는 자동회귀 모델을 초월하는 성능을 보였다.
• 오라클 BLEU 점수 분석 결과, 병렬 AR 재평가 기법이 반복 보정(iterative refinement)보다 더 높은 상한선을 달성할 수 있음을 확인했으며, 이는 NAR 가설의 탐색 가능성 향상에 기여함을 시사한다.
• 병렬 AR 재평가 기법은 다양한 인코더 및 디코더 아키텍처에서 효과를 유지하여 일반화 능력이 뛰어남을 입증했다.