[논문 리뷰] Direct speech-to-speech translation with discrete units

Ann Lee, Peng‐Jen Chen외 10명|arXiv (Cornell University)|2021. 07. 12.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 음성 스펙트로그램 대신 자기학습된 음성 표현에서의 이산 단위를 예측하는 직접 음성-음성 번역(S2ST) 모델을 제안한다. 이는 텍스트 중간 단계 없이 엔드 투 엔드 번역을 가능하게 하며, 텍스트 전사 자료 없이도 훈련된 경우조차도, 캐스케이드형 S2T+TTS 시스템과 유사한 성능을 달성한다. 이로 인해 추론 지연 시간과 계산 비용이 각각 메모리 기준 최대 55%, FLOPs 기준 최대 47% 감소하였으며, 이는 미처 문서화되지 않은 언어에 대한 강력한 잠재력을 보여준다.

ABSTRACT

We present a direct speech-to-speech translation (S2ST) model that translates speech from one language to speech in another language without relying on intermediate text generation. We tackle the problem by first applying a self-supervised discrete speech encoder on the target speech and then training a sequence-to-sequence speech-to-unit translation (S2UT) model to predict the discrete representations of the target speech. When target text transcripts are available, we design a joint speech and text training framework that enables the model to generate dual modality output (speech and text) simultaneously in the same inference pass. Experiments on the Fisher Spanish-English dataset show that the proposed framework yields improvement of 6.7 BLEU compared with a baseline direct S2ST model that predicts spectrogram features. When trained without any text transcripts, our model performance is comparable to models that predict spectrograms and are trained with text supervision, showing the potential of our system for translation between unwritten languages. Audio samples are available at https://facebookresearch.github.io/speech_translation/direct_s2st_units/index.html .

연구 동기 및 목표

• 텍스트 기반 중간 단계를 생략하는 직접 음성-음성 번역 시스템을 개발하여, 문서화되지 않은 언어에 대한 번역을 가능하게 한다.
• 원시 스펙트로그램 특징 대신 이산 단위를 모델링하여 번역 품질과 추론 효율성을 향상시킨다.
• 공통 인코더와 부분적으로 공유되는 디코더를 사용해 단일 추론 단계 내에서 음성과 텍스트를 동시에 생성하는 것을 가능하게 한다.
• 원천 음성과 목표 음성 양측에서 이산 단위를 활용하여, 텍스트 전사 자료 없이도 직접 S2ST 모델을 효과적으로 훈련시킬 수 있음을 보여준다.
• 런타임, FLOPs, 메모리 사용량에서 제안된 방법이 직접 S2ST 및 캐스케이드형 시스템을 모두 초월하는 효율성을 보여주는 벤치마킹을 수행한다.

제안 방법

• 자기학습된 이산 음성 인코더(HuBERT)를 사용해 목표 음성에서 이산 단위를 추출하고, 직접 S2ST에서 스펙트로그램 대상 대신 사용한다.
• 이산 단위를 예측하도록 순차적-순차적 S2UT(음성-단위 번역) 모델을 훈련시어, 비트 서치와 함께 개선된 어울림 학습을 가능하게 한다.
• 문서화된 언어의 경우, 공통 인코더와 부분적으로 공유되는 디코더를 통해 S2ST와 S2T 작업을 공동 훈련하며, CTC를 사용해 음성과 텍스트 출력 간 길이 불일치를 해결한다.
• 텍스트 전사 자료가 이용 불가능한 경우, 원천 및 목표 음성 양측에서 이산 단위를 다중 작업 학습과 함께 활용해, 텍스트 감독 없이도 엔드 투 엔드 S2ST를 수행한다.
• 원천 음성 단위를 보조 작업으로 사용해 훈련을 안정화시키고 어텐션 어울림을 향상시켜 성능을 크게 향상시킨다.
• Intel Xeon Gold 6230 CPU에서 런타임, FLOPs, 메모리 사용량을 기준으로 제안된 방법을 직접 S2ST 및 캐스케이드형 S2T+TTS 시스템과 비교해 시스템 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 스펙트로그램 특징 대신 이산 음성 단위를 사용하여 직접 S2ST를 효과적으로 훈련시킬 수 있는가? 이는 번역 품질과 효율성 향상으로 이어지는가?
• RQ2 공통 모델링을 통한 음성-텍스트 동시 생성은 캐스케이드형 S2T+TTS와 비교해 번역 품질과 추론 비용 측면에서 어떻게 다른가?
• RQ3 원천 및 목표 음성 양측에서 이산 단위를 활용함으로써, 텍스트 전사 자료 없이도 직접 S2ST 시스템을 훈련시킬 수 있는가?
• RQ4 스펙트로그램 대신 이산 단위를 모델링하면 추론 속도, FLOPs, 메모리 사용량 측면에서 측정 가능한 향상이 이루어지는가?
• RQ5 원천 음성 단위를 보조 신호로 사용하면 S2UT의 어텐션 학습과 번역 성능 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 제안된 S2UT 감소 모델은 원시 스펙트로그램 특징을 예측하는 기준 직접 S2ST 모델보다 6.7 BLEU 향상되었으며, 캐스케이드형 S2T+TTS 시스템과 동등한 성능을 달성했다.
• 모든 텍스트 전사 자료 없이도 훈련된 모델은 텍스트 감독을 받은 스펙트로그램 예측 모델과 유사한 성능을 보였으며, 이는 문서화되지 않은 언어에 대한 번역을 가능하게 했다.
• S2T+TTS 캐스케이드 기반 기준으로 1.5배 빠르며, FLOPs는 47% 감소하고, 메모리 사용량은 55% 감소했다.
• 스펙트로그램을 예측하는 트랜스포지터 기반 Translatotron 모델 대비 S2UT 감소 모델은 1.3배 빠르며, FLOPs는 39% 감소하고, 메모리 사용량은 51% 감소했다.
• 원천 음성 단위를 보조 작업으로 사용한 결과, 이 신호 없이 훈련한 경우 대비 S2UT 성능이 1.4 BLEU 향상되어 어텐션 학습 안정화에 효과적임을 입증했다.
• CTC 기반 길이 어울림을 통한 음성-텍스트 공동 훈련 프레임워크는 단일 추론 단계 내에서 음성과 텍스트 출력을 동시에 생성할 수 있게 하여 효율성과 일관성을 향상시켰다.