[논문 리뷰] ESPnet-ST: All-in-One Speech Translation Toolkit

Hirofumi Inaguma, Shun Kiyono외 5명|arXiv (Cornell University)|2020. 04. 21.

Natural Language Processing Techniques참고 문헌 47인용 수 9

한 줄 요약

ESPnet-ST는 하나의 프레임워크 내에서 종단간(end-to-end) 및 계단식(cascaded) 음성 번역(ST)을 통합하는 통합 툴킷이다. 이 툴킷은 자동 음성 인식(ASR), 기계 번역(MT), 텍스트-to-음성(TTS) 모듈을 통합한다. 통합 학습 및 디코딩 파이프라인과 사전 학습 모델을 사용하여 여러 ST 벤치마크에서 재현 가능하고 최첨단 성능을 달성하며, 단일 GPU에서 2일 이내에 경쟁적인 성능을 내는 데 성공했다.

ABSTRACT

We present ESPnet-ST, which is designed for the quick development of speech-to-speech translation systems in a single framework. ESPnet-ST is a new project inside end-to-end speech processing toolkit, ESPnet, which integrates or newly implements automatic speech recognition, machine translation, and text-to-speech functions for speech translation. We provide all-in-one recipes including data pre-processing, feature extraction, training, and decoding pipelines for a wide range of benchmark datasets. Our reproducible results can match or even outperform the current state-of-the-art performances; these pre-trained models are downloadable. The toolkit is publicly available at https://github.com/espnet/espnet.

연구 동기 및 목표

• 종단간 및 계단식 음성 번역(ST) 시스템을 하나의 상호운용 가능한 프레임워크에서 지원하는 통합 툴킷의 부족을 해결하기 위해.
• 데이터 전처리, 특징 추출, 학습, 추론에 특화된 코퍼스 기반 완전한 레시피를 제공함으로써 빠른 프로토타이핑과 재현 가능한 연구를 가능하게 하기 위해.
• 공유된 구성 요소(ASR, MT, TTS)를 사용하여 종단간-ST(E2E-ST) 및 계단식-ST(Cascade-ST) 워크플로우를 지원함으로써 모델 혼합 및 전이 학습을 원활하게 하기 위해.
• 추가 데이터가 필요 없이 주요 ST 벤치마크에서 최첨단 성능을 달성하거나 이를 초월하는 고성능 사전 튜닝 모델을 제공하기 위해.
• ESPnet의 검증된 아키텍처를 기반으로 한 통합적이고 확장 가능한 코드베이스를 제공함으로써 ST 분야의 연구자들이 접근 장벽을 낮추기 위해.

제안 방법

• Kaldi를 영감으로 삼은 단계별 처리 프레임워크를 사용하여 ASR, MT, TTS, ST 모듈을 하나의 통합 코드베이스에 통합한다.
• Transformer 기반 인코더와 디코더를 사용하는 순서-순서(sequence-to-sequence, S2S) 아키텍처 기반 종단간-ST 모델을 제공한다.
• ASR 및 ST 헤드를 함께 학습하거나 사전 학습된 ASR 모델을 Fine-tuning하여 다중 작업 학습(MTL) 및 전이 학습을 지원한다.
• SpecAugment 및 속도 변형과 같은 데이터 증강 기법을 사용하며, 코퍼스에 따라 1k 또는 5k/8k 어휘 크기를 사용한다.
• 모든 ST 작업에 대해 코퍼스 준비, 특징 추출, 학습, 디코딩을 자동화하기 위해 레시피당 하나의 스크립트(run.sh)를 제공한다.
• YAML 설정 파일(conf/train.yaml 및 conf/decode.yaml)을 통해 학습 및 추론 설정을 구성 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 툴킷이 종단간 및 계단식 음성 번역 시스템의 개발을 일관된 파이프라인으로 단순화할 수 있는가?
• RQ2 다중 작업 학습 및 전이 학습이 다양한 벤치마크에서 종단간-ST 성능을 얼마나 향상시킬 수 있는가?
• RQ3 ESPnet-ST에서 학습된 종단간-ST 모델의 성능은 BLEU 점수 및 학습 효율성 측면에서 최첨단 시스템과 비교해 어떻게 되는가?
• RQ4 동일한 툴킷이 고자원 및 저자원 ST 시나리오, 심지어 멸종 위험에 처한 언어 설정까지도 효율적으로 지원할 수 있는가?
• RQ5 하이퍼파라미터 튜닝 및 모델 아키텍처 선택이 통합 프레임워크 내 ST 시스템의 성능에 어떤 영향을 미치는가?

주요 결과

• Fisher-CallHome 스페인어(스페인어→영어)에서 ESPnet-ST는 최고의 보고된 BLEU 점수를 달성하며, 단일 GPU에서 1~2일 간의 훨씬 빠른 학습(16개 GPU로 2.5주 이상 소요되는 대비)을 기록했다.
• Libri-trans(영어→프랑스어)에서 E2E-ST 모델은 추가 데이터 없이 표준 100시간 분량의 영어 음성 및 증강된 프랑스어 번역본만으로도 경쟁 가능한 BLEU 점수를 달성했다.
• How2(영어→포르투갈어)에서 ESPnet-ST는 이전의 RNN 기반 모델을 뛰어넘었으며, 유튜브 스타일 음성 번역에서 Transformer 기반 모델의 효과성을 입증했다.
• Must-C(영어→8개 언어)에서 ESPnet-ST는 모든 8개 언어 방향에서 이전 연구를 크게 앞서며, tst-COMMON 세트에서 강력한 대소문자 구분 BLEU 점수를 달성했다.
• IWSLT16(영어↔독일어)에서의 MT 실험 결과, ESPnet-ST의 Transformer 모델 성능은 Fairseq와 거의 동일했으며, 이는 신뢰성과 하이퍼파라미터 민감도가 잘 제어되어 있음을 확인했다.
• 툴킷은 빠른 추론(RTF 0.7755)을 지원하며, 인터랙티브 데모 배포도 가능하여 실시간 응용 분야에서의 실용성을 입증했다.