[논문 리뷰] Harnessing Indirect Training Data for End-to-End Automatic Speech Translation: Tricks of the Trade

Juan Pino, Liezl Puzon외 4명|arXiv (Cornell University)|2019. 09. 14.

Natural Language Processing Techniques인용 수 25

한 줄 요약

이 논문은 데이터 증강과 사전 훈련을 통해 간접적인 훈련 데이터—예를 들어 ASR 전사문과 MT 번역문—를 활용하여 엔드 투 엔드 자동 음성 번역(ASR) 모델과 강력한 캐스케이드 모델 간의 성능 격차를 줄이는 방법을 제안한다. ASR 전사문을 번역하고 TTS를 통해 합성 음성을 생성함으로써, 사전 훈련과 미세 조정을 통합함으로써, LibriSpeech에서 BLEU 격차를 8.2에서 1.4로, MuST-C에서 6.7에서 3.7로 감소시켜 공개 데이터셋에서 거의 최고 성능을 달성한다.

ABSTRACT

For automatic speech translation (AST), end-to-end approaches are outperformed by cascaded models that transcribe with automatic speech recognition (ASR), then translate with machine translation (MT). A major cause of the performance gap is that, while existing AST corpora are small, massive datasets exist for both the ASR and MT subsystems. In this work, we evaluate several data augmentation and pretraining approaches for AST, by comparing all on the same datasets. Simple data augmentation by translating ASR transcripts proves most effective on the English--French augmented LibriSpeech dataset, closing the performance gap from 8.2 to 1.4 BLEU, compared to a very strong cascade that could directly utilize copious ASR and MT data. The same end-to-end approach plus fine-tuning closes the gap on the English--Romanian MuST-C dataset from 6.7 to 3.7 BLEU. In addition to these results, we present practical recommendations for augmentation and pretraining approaches. Finally, we decrease the performance gap to 0.01 BLEU using a Transformer-based architecture.

연구 동기 및 목표

• 대규모 ASR 및 MT 데이터셋을 활용하는 강력한 캐스케이드 모델과 엔드 투 엔드 AST 모델 간의 성능 격차를 해소하기 위해.
• ASR 전사문과 MT 번역문과 같은 간접 훈련 데이터를 활용한 효과적인 데이터 증강 전략을 탐구하기 위해.
• 음성 인코더의 사전 훈련과 외부 도메인의 합성 데이터에 대한 미세 조정이 성능에 미치는 영향을 평가하기 위해.
• 엔드 투 엔드 AST를 위한 다양한 신경망 아키텍처, 특히 새로운 VGG Transformer 변형을 벤치마킹하기 위해.
• 엔드 투 엔드 AST에서 간접 데이터를 활용하기 위한 실용적이고 재현 가능한 권장 사항을 제공하기 위해.

제안 방법

• 고품질 MT 모델을 사용하여 대규모 ASR 코퍼스의 전사문을 번역하여 AST 훈련 데이터를 증강한다.
• 원천 측 번역 평행 데이터에서 음성 합성 기술(TTS)을 사용하여 합성 음성을 생성함으로써 추가적인 훈련 예제를 확보한다.
• AST 작업에 대해 미세 조정하기 전에 대규모 ASR 데이터에서 엔드 투 엔드 AST 모델의 음성 인코더를 사전 훈련한다.
• 외부 도메인의 합성 데이터가 많을 경우, 모델을 도메인 내 AST 데이터에 적응시키기 위해 미세 조정을 적용한다.
• 합성 데이터의 품질, 다양성, 내구성을 평가하기 위해 여러 TTS 엔진과 스피커 설정을 사용한다.
• 공개 AST 데이터셋에서 여러 아키텍처를 벤치마킹하며, 확장된 Bérard 모델, VGG-LSTM, VGG Transformer 포함.

실험 결과

연구 질문

• RQ1 ASR 전사문 번역이 엔드 투 엔드 AST에 대한 데이터 증강 기법으로 얼마나 효과적인가?
• RQ2 TTS로 생성된 합성 음성이 AST 성능에 어떤 영향을 미치며, 데이터 양, 스피커 다양성, TTS 품질이 결과에 어떤 영향을 미치는가?
• RQ3 ASR 데이터에서 음성 인코더를 사전 훈련하는 것이 엔드 투 엔드 AST 성능 향상에 기여하는가?
• RQ4 외부 도메인의 합성 데이터로 인한 성능 저하를 완화하기 위해 미세 조정이 얼마나 효과적인가?
• RQ5 공개 AST 데이터셋에서 데이터 증강과 사전 훈련을 결합했을 때 어떤 모델 아키텍처가 가장 높은 성능을 낼 수 있는가?

주요 결과

• ASR 전사문 번역만으로도 영어-프랑스어 LibriSpeech 데이터셋에서 엔드 투 엔드 모델과 캐스케이드 모델 간의 BLEU 격차가 8.2에서 1.4로 감소하였다.
• 영어-루마니아어 MuST-C 데이터셋에서도 동일한 전사문 번역 증강 기법을 통해 BLEU 격차가 6.7에서 3.7로 감소하였다.
• 최대 300,000개의 TTS로 생성된 발화를 추가하면 성능 향상이 있었지만, 100만 개로 늘어나자 결과가 악화되어 도메인 이탈 문제를 시사하였다.
• 여러 스피커를 사용한 TTS 생성은 단일 스피커 생성보다 +0.9 BLEU 성능 향상을 보였으며, 최고의 단일 스피커 성능과도 동등했다.
• TTS2 엔진이 TTS1을 略로 초월했으며, 목표 언어 측(프랑스어) 텍스트에서 음성을 생성하는 것이 가장 우수한 결과(13.646 BLEU)를 냈고, 이는 백트랜스레이션 유사 전략의 잠재력을 시사한다.
• 전체 파이프라인 최적화—증강, 사전 훈련, 미세 조정, Transformer 아키텍처 통합—을 통해 LibriSpeech에서 격차가 단지 0.01 BLEU로 감소하였다.