[논문 리뷰] DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation

Qingkai Fang, Yan Zhou외 1명|arXiv (Cornell University)|2023. 10. 11.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

DASpeech는 비자기적이고 두 번의 통과를 거치는 음성-음성 번역 모델로, 언어 디코더에 방향성 비순환 그래프(DAG)를 사용하는 DA-Transformer와 FastSpeech 2 기반의 음향 디코더를 활용하여 높은 품질의 빠른 추론을 달성한다. 학습 시 동적 프로그래밍을 통해 기대되는 은닉 상태를 계산하고 추론 시 가장 가능성이 높은 경로를 선택함으로써, 자동적 모델 대비 최대 18.53배의 속도 향상을 이룩하면서 CVSS Fr→En 벤치마크에서 최신 기술 수준에 맞추거나 초월하는 성능을 보이며, 원본 화자 음성의 유지 능력도 향상된다.

ABSTRACT

Direct speech-to-speech translation (S2ST) translates speech from one language into another using a single model. However, due to the presence of linguistic and acoustic diversity, the target speech follows a complex multimodal distribution, posing challenges to achieving both high-quality translations and fast decoding speeds for S2ST models. In this paper, we propose DASpeech, a non-autoregressive direct S2ST model which realizes both fast and high-quality S2ST. To better capture the complex distribution of the target speech, DASpeech adopts the two-pass architecture to decompose the generation process into two steps, where a linguistic decoder first generates the target text, and an acoustic decoder then generates the target speech based on the hidden states of the linguistic decoder. Specifically, we use the decoder of DA-Transformer as the linguistic decoder, and use FastSpeech 2 as the acoustic decoder. DA-Transformer models translations with a directed acyclic graph (DAG). To consider all potential paths in the DAG during training, we calculate the expected hidden states for each target token via dynamic programming, and feed them into the acoustic decoder to predict the target mel-spectrogram. During inference, we select the most probable path and take hidden states on that path as input to the acoustic decoder. Experiments on the CVSS Fr-En benchmark demonstrate that DASpeech can achieve comparable or even better performance than the state-of-the-art S2ST model Translatotron 2, while preserving up to 18.53x speedup compared to the autoregressive baseline. Compared with the previous non-autoregressive S2ST model, DASpeech does not rely on knowledge distillation and iterative decoding, achieving significant improvements in both translation quality and decoding speed. Furthermore, DASpeech shows the ability to preserve the speaker's voice of the source speech during translation.

연구 동기 및 목표

• 직접 음성-음성 번역(S2ST)에서 번역 품질과 디코딩 속도 사이의 상충 관계를 해결하기 위해.
• 지식 정제나 반복적 디코딩에 의존하지 않고도 목표 음성의 복잡한 다중모odal 분포(언어적 및 음향적 변형 포함)를 모델링하기 위해.
• 높은 번역 품질을 유지하면서도 빠른 비자기적 추론을 가능하게 하며, 원본 화자 음성의 특성을 유지하기 위해.
• 동적 프로그래밍을 활용해 DAG 기반 언어 디코더와 음향 디코더를 효과적으로 통합하는 엔드 투 엔드 학습 전략을 개발하기 위해.

제안 방법

• 모델은 두 번의 통과 아키텍처를 사용한다: DA-Transformer 기반 언어 디코더가 방향성 비순환 그래프(DAG)를 통해 목표 텍스트 토큰을 생성하고, 그 다음에 FastSpeech 2 기반 음향 디코더가 언어 디코더의 은닉 상태에서 멜- spectrogram을 생성한다.
• 학습 시, DAG 내 모든 경로를 통해 기대되는 은닉 상태를 동적 프로그래밍을 통해 계산하고, 이를 음향 디코더의 지도 학습에 활용한다.
• 추론 시, DAG 내에서 가장 가능성이 높은 경로를 선택하고, 그 은닉 상태를 음향 디코더에 입력하여 병렬적으로 빠르게 생성한다.
• DA-Transformer 디코더는 DAG를 통해 여러 번역 가설을 모델링함으로써 비자기적 모델에서 흔히 발생하는 다중모달성 문제를 완화한다.
• 음향 디코더는 피치, 지속 시간, 에너지 등의 변동 요인을 명시적으로 모델링하여 음향 다양성을 포착함으로써 음성 품질 향상과 화자 유사도 향상을 도모한다.
• 기대 은닉 상태 계산과 선택 가능한 경로에 대한 미분 가능한 선택을 통해 엔드 투 엔드 학습이 가능해져 양쪽 디코더를 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 지식 정제나 반복 보정에 의존하지 않고도 비자기적 두 번의 통과를 거치는 S2ST 모델이 높은 번역 품질을 달성할 수 있는가?
• RQ2 DAG 기반 디코더의 사용이 비자기적 S2ST에서 언어 다양성 모델링과 다중모달성 문제를 개선하는 데 기여하는가?
• RQ3 모델은 원본 화자 음성을 번역 중에 효과적으로 유지할 수 있으며, 자동적 기반 모델과 비교해 어떤가?
• RQ4 비자기적 두 번의 통과를 거치는 S2ST 모델은 자동적 대비 얼마나 빠른가? 그리고 경쟁 가능한 번역 품질을 유지하는가?

주요 결과

• DASpeech는 CVSS Fr→En 벤치마크에서 Translatotron 2와 유사하거나 뛰어난 성능을 보이며, WER 10.2와 MOS 4.26을 기록하여 두 지표에서 자동적 기반 모델을 초월한다.
• 비자기적 기반 모델 대비 최대 18.53배의 추론 속도 향상을 달성하여 뚜렷한 추론 효율성을 입증한다.
• 지식 정제나 반복 디코딩 없이도 이전의 비자기적 S2ST 모델인 TranSpeech보다 BLEU 점수 1.8점, MOS 0.3점 높게 기록한다.
• Translatotron과 Translatotron 2보다 원본 화자 음성의 특성을 더 효과적으로 유지하며, 테스트 세트에서 화자 유사도가 0.89로 나타나 강력한 화자 신원 유지 능력을 보인다.
• 학습 비용은 Translatotron 2(18 GPU 시간)보다 높은 96 GPU 시간을 차지하지만, 주로 학습 시 동적 프로그래밍으로 인한 것으로, 이는 향상된 성능을 가능하게 한다.
• 동일 화자 음성-음성 쌍으로 학습할 경우, 모델은 화자 신원 유지 기능을 잠재적으로 발현함을 보이며, 이는 음향 디코더가 화자별 변동 요소를 효과적으로 학습하고 있음을 시사한다.