[논문 리뷰] fairseq S2T: Fast Speech-to-Text Modeling with fairseq

Changhan Wang, Yun Tang외 5명|arXiv (Cornell University)|2020. 10. 11.

Natural Language Processing Techniques참고 문헌 42인용 수 92

한 줄 요약

논문은 end-to-end 음성-텍스트 태스크를 위한 fairseq S2T를 소개하며, 확장 가능한 데이터 처리, 다양한 모델 지원(RNN/Transformer/Conformer), 온라인/오프라인 추론, MT/LM과의 통합을 통해 다-task 학습을 가능하게 한다.

ABSTRACT

We introduce fairseq S2T, a fairseq extension for speech-to-text (S2T) modeling tasks such as end-to-end speech recognition and speech-to-text translation. It follows fairseq's careful design for scalability and extensibility. We provide end-to-end workflows from data pre-processing, model training to offline (online) inference. We implement state-of-the-art RNN-based, Transformer-based as well as Conformer-based models and open-source detailed training recipes. Fairseq's machine translation models and language models can be seamlessly integrated into S2T workflows for multi-task learning or transfer learning. Fairseq S2T documentation and examples are available at https://github.com/pytorch/fairseq/tree/master/examples/speech_to_text.

연구 동기 및 목표

• 대규모 비라벨 데이터와 교차 태스크 감독(MT/LM)을 활용하여 ASR과 ST를 위한 원스탑 S2S 모델링을 촉진한다.
• 데이터 전처리에서 학습 및 추론에 이르는 엔드-투-엔드 워크플로를 확장 가능하고 확장 가능한 프레임워크로 제공한다.
• 최첨단 모델 지원(RNN, Transformer, Conformer)과 재현성을 위한 자세한 학습 레시피를 제공한다.
• 다중 작업 및 전이 학습을 위해 fairseq MT 모델과 LMs를 S2T 워크플로우에 통합할 수 있도록 한다.

제안 방법

• ASR 및 ST를 포함하는 S2T 작업으로 fairseq를 확장한다.
• ASR용 CTC 옵션과 함께 RNN, Transformer, Conformer 아키텍처를 지원한다.
• 온라인 동시 ST 정책을 제공한다(단조 어텐션 변형, wait-k, 단조적 무한 회고, 단조형 다중 헤드 어텐션).
• PyKaldi 또는 torchaudio를 통해 Kaldi-호환 피처를 추출하여 데이터 전처리를 자동화하고, I/O 효율성을 위한 선택적 사전 계산 및 ZIP 패키징을 제공한다.
• 텍스트 데이터 토크나이징 옵션(Moses, SentencePiece, subword-nmt, 바이트 수준 BPE, 바이트)을 제공하고 YAML 기반 데이터 구성을 지원한다.
• simuleval을 통해 평가 지표(WER, BLEU, chrF)와 동시 ST 지표(AL, DAL)를 통합하고, VizSeq 시각화 및 TensorBoard 모니터링을 지원한다.
• 혼합 정밀도, 다중 GPU, 다중 머신을 활용한 PyTorch 기반 확장 가능한 학습을 이용하고, 미리 만들어진 학습 레시피를 제공한다.
• S2T 워크플로우에서 다중 작업 또는 전이 학습을 위해 fairseq MT 모델과 LMs의 원활한 재사용을 허용한다.

실험 결과

연구 질문

• RQ1 다양한 백본 모델을 사용한 LibriSpeech, MuST-C, CoVoST 2 등 엔드-투-엔드 ASR 및 ST 벤치마크에서 fairseq S2T가 어떻게 성능을 발휘하는가?
• RQ2 다중언어 학습과 교차 태스크 감독이 이중언어 또는 단일 태스크 설정에 비해 S2T 성능을 향상시키는가?
• RQ3 자기감시 학습(SSL, 예: wav2vec)이 다국어 S2T 성능 및 전이 가능성에 미치는 영향은 무엇인가?
• RQ4 온라인 동시 ST 모델은 언어 방향 간 대기 시간(AL)과 번역 품질 사이에서 어떤 트레이드오프를 보이는가?
• RQ5 fairseq S2T가 확장성, 재현성, MT/LM 모델과의 통합 측면에서 다른 도구 키트와 어떻게 비교되는가?

주요 결과

• Fairseq S2T는 엔드-투-엔드 S2T 워크플로우를 제공하며 최첨단 RNN-, Transformer-, Conformer 기반 모델을 지원한다.
• wait-k 및 단조 어텐션과 같은 정책을 갖춘 온라인 동시 ST 모델은 MuST-C에서 대기 시간-정확도 트레이드오프 측면에서 경쟁력 있는 성능을 보여준다.
• 다중 언어에 대해 학습된 다국어 S2T 모델은 여러 방향에서 이중언어 모델을 능가할 수 있으며 강한 전이 가능성을 보인다.
• Transformer 기반 S2T 모델은 CoVoST 2에서 En–X 및 X–En 방향 모두에서 RNN 기반 모델보다 성능이 우수하며, 저자원 및 다국어 설정에서 자기감시 특징의 이점이 있다.
• CW-Lg(Conformer 기반 wav2vec)는 LibriSpeech WER에서 경쟁력 있는 성능을 보이며, fairseq S2T 프레임워크 내에서 강한 ASR 성능을 시사한다.
• fairseq S2T는 MT 및 LM 구성요소를 통합하여 다중 작업 학습 및 전이 학습을 가능하게 하고, overall S2T 성능을 향상시킨다.