[논문 리뷰] Bridging the Modality Gap for Speech-to-Text Translation

Yuchen Liu, Junnan Zhu외 2명|arXiv (Cornell University)|2020. 10. 28.

Speech Recognition and Synthesis참고 문헌 38인용 수 39

한 줄 요약

STAST 모델은 음성 번역 인코더를 분리하고 축소 메커니즘을 도입하며, 텍스트 기반 MT 모델을 공유 잠재 공간에 통합하고, 교차 모달 적응을 적용하여 음성-텍스트 모달리티 격차를 연결하고 영어-프랑스 및 영어-독일 ST 작업에서 최첨단 성과를 달성합니다.

ABSTRACT

End-to-end speech translation aims to translate speech in one language into text in another language via an end-to-end way. Most existing methods employ an encoder-decoder structure with a single encoder to learn acoustic representation and semantic information simultaneously, which ignores the speech-and-text modality differences and makes the encoder overloaded, leading to great difficulty in learning such a model. To address these issues, we propose a Speech-to-Text Adaptation for Speech Translation (STAST) model which aims to improve the end-to-end model performance by bridging the modality gap between speech and text. Specifically, we decouple the speech translation encoder into three parts and introduce a shrink mechanism to match the length of speech representation with that of the corresponding text transcription. To obtain better semantic representation, we completely integrate a text-based translation model into the STAST so that two tasks can be trained in the same latent space. Furthermore, we introduce a cross-modal adaptation method to close the distance between speech and text representation. Experimental results on English-French and English-German speech translation corpora have shown that our model significantly outperforms strong baselines, and achieves the new state-of-the-art performance.

연구 동기 및 목표

• End-to-end 음성-텍스트 번역을 동기화하고 음성과 텍스트 사이의 모달리티 격차를 해결한다.
• 음성 번역 인코더를 전문가 구성요소로 분리하여 학습 부담을 줄인다.
• ST 모델 내에서 텍스트 기반 MT 모델을 활용하여 의미 표현을 정렬한다.
• 교차 모달 적응으로 음성-텍스트 표현 격차를 좁힌다.
• 영어-프랑스 및 영어-독일 ST 벤치마크에서 최첨단 성능을 보여준다.

제안 방법

• ST 인코더를 세 부분으로 분리한다: 음향 인코더, 축소 메커니즘, 그리고 의미 인코더.
• 음향 인코더에 CTC 모듈을 사용하여 소스 전사를 예측하고 전사 길이에 맞춰 음성 표현 길이를 맞추는 축소 메커니즘을 적용한다.
• 의미 인코더/디코더를 공유하고 CTC, 임베딩, MT 출력 공간을 정렬하여 완전한 MT 모델을 통합한다.
• 시퀀스 수준 또는 단어 수준의 MSE 기반 손실을 포함한 교차 모달 적응으로 음성 및 텍스트 표현을 정렬한다.
• 다중 작업 구도에서 CTC 손실, ST 손실, MT 손실, 그리고 교차 모달 적응 손실의 조합으로 학습한다.

실험 결과

연구 질문

• RQ1 ST 인코더를 분리하는 것이 음향 표현 학습과 의미 표현 학습을 분리하여 학습 부담을 완화할 수 있는가?
• RQ2 축소 메커니즘이 음성 프레임과 텍스트 토큰 간의 길이 불일치를 효과적으로 해결하는가?
• RQ3 공유 잠재 공간에 MT를 통합하는 것이 ST의 의미 표현을 개선할 수 있는가?
• RQ4 교차 모달 적응이 모달리티 간 거리을 추가로 줄이고 번역 정확도를 향상시키는가?

주요 결과

• STAST는 Augmented LibriSpeech En-Fr에서 최첨단 또는 경쟁력 있는 BLEU를 달성하며 여러 엔드투엔드 베이스라인을 능가한다.
• MuST_C En-De에서 STAST는 기본 설정에서 모든 이전 엔드투엔드 모델을 능가하고 SpecAugment에서도 강력한 성능을 유지한다.
• ablation을 통해 제안된 모든 구성요소(축소, 의미 인코더, 교차 모달 적응, 다중 작업 학습, CTC 손실)가 성능에 긍정적으로 기여함이 확인된다.
• 시퀀스 수준의 교차 모달 적응이 일반적으로 단어 수준 적응보다 약간 더 우수한 경향을 보인다.
• STAST는 데이터 규모에 대한 강건함을 보이며 추가 ASR 데이터의 이점과 어느 정도 추가 MT 데이터의 이점을 얻는다.