[논문 리뷰] Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders

Xu Chen, Bojie Hu외 6명|arXiv (Cornell University)|2021. 05. 12.

Natural Language Processing Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 사전 훈련된 ASR 및 MT 인코더를 스택형으로 연결하고 어댑터 모듈 및 다중 강사 지식 정착을 통해 통합함으로써 새로운 엔드 투 엔드 음성 번역 프레임워크인 Stacked Acoustic-and-Textual Encoding (SATE)를 제안한다. 이 방법은 대규모 사전 훈련 데이터가 이용 가능한 조건에서 LibriSpeech En-Fr에서 18.3의 BLEU 점수와 MuST-C En-De에서 25.2의 BLEU 점수를 기록하며 기존의 캐스케이드 시스템을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Encoder pre-training is promising in end-to-end Speech Translation (ST), given the fact that speech-to-translation data is scarce. But ST encoders are not simple instances of Automatic Speech Recognition (ASR) or Machine Translation (MT) encoders. For example, we find that ASR encoders lack the global context representation, which is necessary for translation, whereas MT encoders are not designed to deal with long but locally attentive acoustic sequences. In this work, we propose a Stacked Acoustic-and-Textual Encoding (SATE) method for speech translation. Our encoder begins with processing the acoustic sequence as usual, but later behaves more like an MT encoder for a global representation of the input sequence. In this way, it is straightforward to incorporate the pre-trained models into the system. Also, we develop an adaptor module to alleviate the representation inconsistency between the pre-trained ASR encoder and MT encoder, and develop a multi-teacher knowledge distillation method to preserve the pre-training knowledge. Experimental results on the LibriSpeech En-Fr and MuST-C En-De ST tasks show that our method achieves state-of-the-art BLEU scores of 18.3 and 25.2. To our knowledge, we are the first to develop an end-to-end ST system that achieves comparable or even better BLEU performance than the cascaded ST counterpart when large-scale ASR and MT data is available.

연구 동기 및 목표

• 엔드 투 엔드 음성 번역(E2E ST)에서 부족한 음성-번역 데이터 문제를 해결하기 위해.
• 사전 훈련된 ASR 및 MT 모델이 별도로 사용될 경우 엔드 투 엔드 음성 번역에서 캐스케이드 시스템에 비해 성능이 열등한 이유를 탐구하기 위해.
• 음성 및 텍스트 표현 학습을 효과적으로 통합하여 번역 성능을 향상시키기 위한 통합 인코더 아키텍처를 설계하기 위해.
• 사전 훈련된 지식을 미세 조정 과정에서 유지하고 ASR 및 MT 인코더 간의 표현 불일치 문제를 해결하기 위해.

제안 방법

• 사전 훈련된 ASR 인코더를 통해 음성 특징을 먼저 처리하고, 그 출력을 어댑터 모듈을 통해 사전 훈련된 MT 인코더로 전달하는 스택형 인코더 아키텍처를 제안한다.
• 음성 및 텍스트 인코더 간의 표현 격차를 메우기 위해 소프트, 매핑, 융합의 세 가지 유형의 어댑터 모듈을 도입한다.
• 사전 훈련된 ASR 및 MT 모델에서 엔드 투 엔드 음성 번역 모델로 지식을 전이하기 위해 다중 강사 지식 정착을 활용한다.
• 두 단계 훈련 프로세스를 적용한다: 먼저 ASR 및 MT 데이터에서의 사전 훈련, 그 다음 ST 데이터에서의 엔드 투 엔드 미세 조정과 함께 지식 정착을 수행한다.
• 로컬성 분석을 통해 SATE 모델이 국소적인 음성 패턴과 전반적인 텍스트 의존성을 동시에 학습하고 있음을 확인한다.
• 훈련 안정성 향상과 기울기 흐름 개선을 위해 잔차 연결과 레이어 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 왜 별도로 사용될 경우 사전 훈련된 ASR 및 MT 모델이 엔드 투 엔드 음성 번역 성능 향상에 실패하는가?
• RQ2 사전 훈련된 ASR 및 MT 인코더를 하나의 엔드 투 엔드 ST 인코더에 효과적으로 통합하여 상호 보완적인 강점을 활용할 수 있는 방법은 무엇인가?
• RQ3 통합된 엔드 투 엔드 ST 모델에서 ASR 및 MT 인코더 간의 표현 불일치 문제를 완화할 수 있는 메커니즘은 무엇인가?
• RQ4 다중 강사 지식 정착은 사전 훈련된 지식을 미세 조정 과정에서 유지하고 번역 성능 향상에 기여할 수 있는가?
• RQ5 대규모 사전 훈련 데이터가 이용 가능한 조건에서 제안된 SATE 방법은 캐스케이드 기반 ST 시스템보다 더 뛰어난 성능을 내는가?

주요 결과

• 무제한 설정 하에서 MuST-C En-De 벤치마크에서 SATE는 최신 기술 수준의 BLEU 점수 25.2를 기록하며 캐스케이드 기반 베이스라인(28.1 BLEU)을 능가한다.
• LibriSpeech En-Fr 작업에서 SATE는 18.3 BLEU를 달성하여 표준 벤치마크에서 뛰어난 성능을 보였다.
• 모델은 캐스케이드 기반 베이스라인 대비 최대 1.69배의 추론 속도 향상을 기록하여 효율성 향상을 입증했다.
• 융합 기반 어댑터 모듈이 가장 뛰어난 성능을 보였으며, 소프트 표현 대비 0.3점, 매핑 유형 대비 0.6점 향상된 BLEU 점수를 기록했다.
• 제거 실험 결과, 사전 훈련된 모듈을 제거할 경우 성능이 크게 떨어지며, 특히 노이즈가 많은 음성에서 ASR 인코더의 영향력이 가장 크다는 점이 확인되었다.
• 로컬성 분석 결과 SATE는 ASR와 유사하게 국소적인 음성 패턴과 MT와 유사하게 전반적인 언어적 의존성을 모두 학습하고 있음을 확인하여 스택형 아키텍처의 성공을 입증했다.