[論文レビュー] DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation

Qingkai Fang, Yan Zhou+1 more|arXiv (Cornell University)|Oct 11, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

DASpeechは、言語的デコーダー（DA-Transformer）に有向無閉路グラフ（DAG）を用い、FastSpeech 2に基づく音声デコーダーを搭載する非自己回帰的2パス型音声対音声翻訳モデルを提案する。学習時には動的計画法を用いて期待される隠れ状態を計算し、推論時には最も確率の高い経路を選択することで、自己回帰モデルと比較して最大18.53倍の高速化を達成しながら、CVSS Fr→Enで最先端の性能を維持または上回り、発話者の声質の保持も向上させた。

ABSTRACT

Direct speech-to-speech translation (S2ST) translates speech from one language into another using a single model. However, due to the presence of linguistic and acoustic diversity, the target speech follows a complex multimodal distribution, posing challenges to achieving both high-quality translations and fast decoding speeds for S2ST models. In this paper, we propose DASpeech, a non-autoregressive direct S2ST model which realizes both fast and high-quality S2ST. To better capture the complex distribution of the target speech, DASpeech adopts the two-pass architecture to decompose the generation process into two steps, where a linguistic decoder first generates the target text, and an acoustic decoder then generates the target speech based on the hidden states of the linguistic decoder. Specifically, we use the decoder of DA-Transformer as the linguistic decoder, and use FastSpeech 2 as the acoustic decoder. DA-Transformer models translations with a directed acyclic graph (DAG). To consider all potential paths in the DAG during training, we calculate the expected hidden states for each target token via dynamic programming, and feed them into the acoustic decoder to predict the target mel-spectrogram. During inference, we select the most probable path and take hidden states on that path as input to the acoustic decoder. Experiments on the CVSS Fr-En benchmark demonstrate that DASpeech can achieve comparable or even better performance than the state-of-the-art S2ST model Translatotron 2, while preserving up to 18.53x speedup compared to the autoregressive baseline. Compared with the previous non-autoregressive S2ST model, DASpeech does not rely on knowledge distillation and iterative decoding, achieving significant improvements in both translation quality and decoding speed. Furthermore, DASpeech shows the ability to preserve the speaker's voice of the source speech during translation.

研究の動機と目的

• 直接音声対音声翻訳（S2ST）における翻訳品質とデコーディング速度のトレードオフを解消すること。
• 知識蒸留や反復的デコーディングに依存せずに、ターゲット音声の複雑なマルチモodalな分布（言語的および音声的変異を含む）をモデル化すること。
• 高い翻訳品質を維持しつつ、高速な非自己回帰的推論を可能にするとともに、元の発話者の声質を保持すること。
• 動的計画法を用いてDAGに基づく言語的デコーダーと音声デコーダーを効果的に統合するエンドツーエンドの学習戦略を開発すること。

提案手法

• モデルは2パス型アーキテクチャを採用する。DA-Transformerに基づく言語的デコーダーが有向無閉路グラフ（DAG）を介してターゲットの語彙トークンを生成し、その後、その隠れ状態からメルスペクトログラムを生成するFastSpeech 2に基づく音声デコーダーが処理を行う。
• 学習段階では、DAG内のすべての経路を走査して動的計画法により各ターゲットトークンの期待される隠れ状態を計算し、それを音声デコーダーの教師信号として用いる。
• 推論段階では、DAG内で最も確率の高い経路が選択され、その隠れ状態が音声デコーダーに供給され、並列的に高速に生成が行われる。
• DA-TransformerデコーダーはDAGを用いて複数の翻訳仮説を同時にモデル化することで、非自己回帰モデルに一般的なマルチモーダルティの問題を軽減する。
• 音声デコーダーはピッチ、発話時間、エネルギーなどのばらつき要因を明示的にモデル化することで、音声の多様性を捉え、音声品質と発話者類似度の向上を実現する。
• 微分可能経路選択と期待される隠れ状態の計算により、エンドツーエンドの学習が可能となり、両デコーダーの共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留や反復的精練に依存せずに、非自己回帰的2パス型S2STモデルが高品質な翻訳を達成できるか？
• RQ2 DAGベースのデコーダーを用いることで、非自己回帰的S2STにおける言語的多様性のモデル化とマルチモーダルティ問題の低減が可能になるか？
• RQ3 モデルは翻訳中に元の発話者の声質を効果的に保持できるか？また、自己回帰的ベースラインと比較してその性能はいかがなものか？
• RQ4 非自己回帰的2パス型S2STモデルは自己回帰的モデルと比較してどの程度のデコーディング速度向上を達成できるか？また、競争力のある翻訳品質を維持できるか？

主な発見

• DASpeechはCVSS Fr→Enベンチマークにおいて、Translatotron 2と同等またはそれ以上の翻訳品質を達成し、WERが10.2、MOSが4.26を記録。両指標とも自己回帰的ベースラインを上回った。
• 自己回帰的ベースラインと比較して、デコーディング速度で最大18.53倍の高速化を達成し、顕著な推論効率性を示した。
• 知識蒸留や反復的デコーディングを一切使用しないにもかかわらず、前回の非自己回帰的S2STモデルであるTranSpeechよりも1.8 BLEUポイントと0.3 MOS向上を達成した。
• 発話者類似度がテストセットで0.89に達し、TranslatotronやTranslatotron 2と比較して元の発話者の声質をより効果的に保持している。発話者アイデンティティの保持が顕著に向上した。
• 学習コストはTranslatotron 2（96対18 GPU時間）よりも高くなったが、主に学習時の動的計画法によるものであり、これにより優れた性能が実現された。
• 同じ発話者からの音声対音声ペアで学習させた際、発話者アイデンティティの保持が顕著に現れるようになった。これは音声デコーダーが発話者固有の変動を効果的に学習していることを示唆している。