[논문 리뷰] End-to-End Speech Translation with Knowledge Distillation

Yuchen Liu, Hao Xiong외 5명|arXiv (Cornell University)|2019. 04. 17.

Natural Language Processing Techniques참고 문헌 28인용 수 36

한 줄 요약

한 두 문장으로 직접 답하는 요약: 이 논문은 텍스트 번역 교사를 통한 지식 증류를 엔드-투-엔드 음성 번역 학생에게 적용하여 영어–프랑스 및 영어–중국어 번역 작업에서 BLEU 향상을 크게 보이고 파이프라인에 근접한 성능을 보여줍니다.

ABSTRACT

End-to-end speech translation (ST), which directly translates from source language speech into target language text, has attracted intensive attentions in recent years. Compared to conventional pipeline systems, end-to-end ST models have advantages of lower latency, smaller model size and less error propagation. However, the combination of speech recognition and text translation in one model is more difficult than each of these two tasks. In this paper, we propose a knowledge distillation approach to improve ST model by transferring the knowledge from text translation model. Specifically, we first train a text translation model, regarded as a teacher model, and then ST model is trained to learn output probabilities from teacher model through knowledge distillation. Experiments on English- French Augmented LibriSpeech and English-Chinese TED corpus show that end-to-end ST is possible to implement on both similar and dissimilar language pairs. In addition, with the instruction of teacher model, end-to-end ST model can gain significant improvements by over 3.5 BLEU points.

연구 동기 및 목표

• 파이프라인 시스템의 컴팩트하고 저지연 대안으로 엔드-투-엔드 ST를 동기화된 동기 부여
• 교사 역할을 하는 텍스트 MT 모델을 활용한 지식 증류 프레임워크를 제안
• KD를 통한 MT 지식 활용이 유사/이질적인 언어 쌍에서 ST 성능을 개선함을 시연
• KD가 이용 가능한 벤치마크에서 엔드-투-엔드 ST 모델이 파이프라인 시스템과의 격차를 줄이도록 함을 보임

제안 방법

• ASR/ST 및 MT 작업에 대해 공유 인코더-디코더 프레임워크를 갖춘 Transformer 기반 아키텍처 사용
• 병렬 텍스트에서 텍스트 번역 모델(교사)을 학습하고 음성-텍스트 번역에서 엔드-투-엔드 ST 모델(학생)을 학습
• L_ALL = (1-λ)L_ST + λL_KD인 결합 손실을 최소화하여 지식 증류를 적용
• 교사의 출력 분포 Q(y_t|y_<t,x)와 학생의 예측 분포 P(y_t|y_<t,s) 간의 교차 엔트로피로 L_KD 계산
• 음성 입력에 대해 프레임 스태킹 및 다운샘플링이 적용된 로깅-멜(log-Mel) 특징 사용; MT/ST 출력에 대해 서브워드 단위(BPE) 적용
• 일반성을 보여주기 위해 Augmented LibriSpeech(영어–프랑스)와 TED(영어–중국어)에서 평가

실험 결과

연구 질문

• RQ1 높은 자원 텍스트 MT 모델의 지식 증류 가이드를 통해 엔드-투-엔드 ST를 효과적으로 학습할 수 있는가?
• RQ2 KD가 엔드-투-엔드 ST 성능을 얼마나 향상시키고 전통적인 파이프라인 시스템과의 격차를 얼마나 줄일 수 있는가?
• RQ3 교사 신호가 유사하지 않은 언어 쌍(영어–중국어)에서도 도움이 되는가?

주요 결과

• KD를 통한 엔드-투-엔드 ST가 일반 엔드-투-엔드 ST보다 BLEU 점수를 크게 향상시키며 Augmented LibriSpeech에서 설정에 따라 최대 약 2.7 BLEU 포인트의 향상을 보임
• KD가 엔드-투-엔드 ST가 파이프라인 성능에 근접하도록 하여 엔드-투-엔드 ST와 MT+ST 파이프라인 간의 성능 격차를 감소시킴
• 영어–프랑스에서 KD를 적용한 엔드-투-엔드 ST가 비-KD 변형보다 우수하며 파이프라인 기준점에 더 근접한 BLEU 점수를 달성
• 영어–중국에서 KD를 통해 엔드-투-엔드 ST가 이득을 얻고 비-KD 변형 대비 명확한 향상을 보이며 방법의 일반성을 시사
• 주의 집중 시각화는 KD가 ST의 주의 집중을 MT 주의 집중에 더 가깝게 만들어 입력 프레임과의 정렬에 도움을 준다고 시사