[논문 리뷰] NeurST: Neural Speech Translation Toolkit

Chengqi Zhao, Mingxuan Wang외 3명|arXiv (Cornell University)|2020. 12. 18.

Natural Language Processing Techniques참고 문헌 34인용 수 6

한 줄 요약

NeurST는 PyTorch와 Tensorflow 2를 사용하여 최신 모델을 쉽게 구축, 훈련 및 평가할 수 있도록 설계된 오픈소스이자 경량 툴킷입니다. 엔드 투 엔드 신경어법 번역을 위한 것으로, 강력한 성능을 보이며 재현 가능한 벤치마크를 제공합니다. libri-trans 영어-프랑스에서 23.3의 디토크나이즈드 BLEU, MuST-C EN-DE에서 17.2의 성능을 기록했으며, 최적화된 사전 훈련 및 데이터 증강 기법을 통해 이전 시스템을 능가합니다.

ABSTRACT

NeurST is an open-source toolkit for neural speech translation. The toolkit mainly focuses on end-to-end speech translation, which is easy to use, modify, and extend to advanced speech translation research and products. NeurST aims at facilitating the speech translation research for NLP researchers and building reliable benchmarks for this field. It provides step-by-step recipes for feature extraction, data preprocessing, distributed training, and evaluation. In this paper, we will introduce the framework design of NeurST and show experimental results for different benchmark datasets, which can be regarded as reliable baselines for future research. The toolkit is publicly available at https://github.com/bytedance/neurst/ and we will continuously update the performance of NeurST with other counterparts and studies at https://st-benchmark.github.io/.

연구 동기 및 목표

• 일관되지 않은 전처리 및 훈련 관행으로 인해 음성 번역 연구 분야에서 일관되고 재현 가능한 벤치마크가 부족한 문제를 해결하기 위해.
• 복잡한 오디오 처리 및 훈련 파이프라인을 추상화하여 NLP 연구자들이 엔드 투 엔드 음성 번역 모델의 개발 및 배포를 간소화하기 위해.
• 다양한 음성 번역 데이터셋에서 특징 추출, 데이터 전처리, 분산 훈련 및 평가에 이르기까지 표준화된 단계별 레시피를 제공하기 위해.
• 최신 Transformer 기반 모델을 사용하여 일관되고 높은 성능의 결과를 보고함으로써 향후 연구를 위한 신뢰할 수 있고 강력한 기준 모델을 확립하기 위해.
• 엔드 투 엔드 ST와 캐스케이드 ASR+MT 시스템을 모두 지원하여, 다양한 아키텍처와 훈련 전략 간의 공정한 비교를 가능하게 하기 위해.

제안 방법

• NeurST는 훈련 워크플로우를 네 가지 모듈식 구성요소로 추상화합니다: Dataset(데이터 입력 추상화), Model(신경망 아키텍처 구현), Task(모델 입력을 위한 데이터 파이프라인), Executor(훈련/추론 실행 로직).
• 이 툴킷은 PyTorch와 Tensorflow 2 백엔드를 모두 지원하여 기존 NLP 워크플로우와의 유연성과 호환성을 확보합니다.
• 음성에서 텍스트로의 번역에 적합하게 조정된 주목적 메커니즘과 위치 인코딩을 갖춘 최적화된 Transformer 기반 모델을 구현합니다.
• 혼합 정밀도 훈련, XLA 가속, Horovod 및 Byteps를 통한 분산 훈련을 포함한 핵심 훈련 기법을 구현하여 확장성을 확보합니다.
• 오디오 특징 추출(예: 멜스펙트로그램), 토크나이제이션, 서브워드 분할(SentencePiece) 등을 포함한 표준화된 전처리 파이프라인을 포함합니다.
• 데이터 증강을 위한 SpecAugment, ASR 인코더 및 MT 디코더 가중치 초기화, 일반화 향상을 위한 지식 정복 기법 등을 지원합니다.

실험 결과

연구 질문

• RQ1 통합적이고 사용하기 쉬운 툴킷이 엔드 투 엔드 음성 번역 연구의 재현 가능성과 벤치마크 일관성 향상에 기여할 수 있는가?
• RQ2 사전 훈련된 ASR 모델로 ST 인코더를 사전 훈련하면 자원이 제한된 음성 번역 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 데이터 증강(예: SpecAugment)이 엔드 투 엔드 ST 모델의 강인성과 정확도에 어느 정도 기여하는가?
• RQ4 표준 및 대규모 훈련 설정에서 엔드 투 엔드 ST 모델과 캐스케이드 ASR+MT 시스템 간의 BLEU 성능은 어떻게 비교되는가?
• RQ5 중요한 음성 툴킷인 Kaldi와의 통합이 필요 없이도 NLP 우도의 경량 툴킷이 주요 ST 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• NeurST는 사전 훈련된 ASR 모델과 SpecAugment를 사용한 순수 엔드 투 엔드 Transformer 모델로 libri-trans 영어-프랑스 테스트 세트에서 23.3의 디토크나이즈드 BLEU를 달성했으며, ESPnet-ST를 포함한 이전 연구들보다 0.5 BLEU 높은 성능을 기록했습니다.
• libri-trans에서 캐스케이드 시스템은 WER가 6.4로 더 낮았음에도 불구하고, 엔드 투 엔드 모델이 0.4–0.5 BLEU 높은 성능을 기록하여 엔드 투 엔드 접근 방식의 강력한 일반화 능력을 입증했습니다.
• MuST-C EN-DE tst-COMMON에서 NeurST는 전체 사전 훈련과 SpecAugment를 적용해 17.2의 케이스-인식되지 않은 BLEU를 기록했으며, fairseq-ST 및 ESPnet-ST의 결과를 맞추거나 초월했습니다.
• 사전 훈련된 ASR 모델로 ST 인코더를 사전 훈련하는 것이 가장 큰 성능 향상을 가져왔고, MT 디코더 초기화는 오직 미미한 향상만 제공했습니다.
• SpecAugment는 모든 데이터셋과 모델 변종에서 일관되게 성능 향상을 이끌어내어 음성 번역을 위한 데이터 증강 기법으로서의 효과를 입증했습니다.
• 대규모 설정(IWSLT 2021)에서 캐스케이드 시스템은 31.4 BLEU를 기록했고, 엔드 투 엔드 모델은 29.7 BLEU를 기록해 1.7 BLEU의 격차를 보였지만, 향후 자기지도 학습 및 데이터 구성 기법이 이 격차를 메울 수 있음을 시사했습니다.