[論文レビュー] Direct speech-to-speech translation with discrete units

Ann Lee, Peng‐Jen Chen+10 more|arXiv (Cornell University)|Jul 12, 2021

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文は、スペクトログ램の代わりに自己教師付き音声表現からの離散単位を予測する直接的音声対音声翻訳（S2ST）モデルを提案する。この手法により、テキストの中間処理を回避したエンドツーエンド翻訳が可能となり、訓練時にテキストトランスクリプトを一切使用しない状況でも、スレーブトランスクリプトを用いたカスケード型S2T+TTSシステムと同等の性能を達成する。さらに、推論遅延と計算コストを最大でメモリ55%、FLOPs 47%まで削減する。これは、未記録言語の翻訳に強く有望な可能性を示している。

ABSTRACT

We present a direct speech-to-speech translation (S2ST) model that translates speech from one language to speech in another language without relying on intermediate text generation. We tackle the problem by first applying a self-supervised discrete speech encoder on the target speech and then training a sequence-to-sequence speech-to-unit translation (S2UT) model to predict the discrete representations of the target speech. When target text transcripts are available, we design a joint speech and text training framework that enables the model to generate dual modality output (speech and text) simultaneously in the same inference pass. Experiments on the Fisher Spanish-English dataset show that the proposed framework yields improvement of 6.7 BLEU compared with a baseline direct S2ST model that predicts spectrogram features. When trained without any text transcripts, our model performance is comparable to models that predict spectrograms and are trained with text supervision, showing the potential of our system for translation between unwritten languages. Audio samples are available at https://facebookresearch.github.io/speech_translation/direct_s2st_units/index.html .

研究の動機と目的

• テキストベースの中間処理を回避する直接的音声対音声翻訳システムの開発。未記録言語の翻訳を可能にする。
• スペクトログラム特徴量の代わりに離散単位をモデル化することで、翻訳品質と推論効率の向上。
• 共通エンコーダーと部分的に共有されるデコーダーを用いて、1回の推論プロセスで音声とテキストの同時生成を実現。
• 出力音声の両方の言語で離散単位を活用することで、テキストトランスクリプトを一切使用せずに直接S2STモデルの有効な訓練が可能であることを示す。
• ランタイム、FLOPs、メモリ使用量のベンチマークを通し、提案手法が直接S2STおよびカスケード型システムを上回ることを示す。

提案手法

• 自己教師付き離散音声エンコーダー（HuBERT）を用いて、ターゲット音声から離散単位を抽出し、直接S2STにおけるスペクトログラムの代わりに使用する。
• 離散単位を予測するためのシーケンス・ツー・シーケンス型S2UT（音声対単位翻訳）モデルを訓練し、ビームサーチとアライメント学習の向上を実現する。
• 書記言語の場合、共通エンコーダーと部分的に共有されるデコーダーを用いてS2STとS2Tタスクを統合的に学習し、長さの不一致を解消するためにCTCが使用される。
• テキストトランスクリプトが利用できない場合、ソースおよびターゲット音声からの離散単位を用いたマルチタスク学習により、テキストの監視なしにエンドツーエンドS2STを実現する。
• ソース音声単位を補助タスクとして用いることで、学習の安定化とアテンションアライメントの向上が図られ、性能が顕著に向上する。
• Intel Xeon Gold 6230 CPU上で、提案手法と直接S2STおよびカスケード型S2T+TTSシステムを比較し、ランタイム、FLOPs、メモリ使用量を用いてシステム効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラム特徴量の代わりに離散的音声単位を用いることで、直接S2STを有効に訓練でき、翻訳品質と効率が向上するか？
• RQ2 共通モデルによる音声とテキストの同時生成は、カスケード型S2T+TTSと比較して翻訳品質と推論コストの面で優れているか？
• RQ3 ソースおよびターゲット音声の両方で離散単位を活用することで、テキストトランスクリプトを一切使用せずに直接S2STシステムを訓練することが可能か？
• RQ4 スペクトログラムではなく離散単位をモデル化することで、推論速度、FLOPs、メモリ使用量に顕著な改善が見られるか？
• RQ5 ソース音声単位を補助タスクとして用いることで、S2UTのアテンション学習と翻訳性能が顕著に向上するか？

主な発見

• 提案されたS2UT低減モデルは、スペクトログラム特徴量を予測するベースライン直接S2STモデルと比較して6.7 BLEUの向上を達成し、カスケード型S2T+TTSシステムと同等の性能を示した。
• テキストトランスクリプトを一切使用せずに訓練した場合でも、テキスト監視付きで訓練されたスペクトログラム予測モデルと同等の性能を達成し、未記録言語の翻訳が可能になった。
• S2T+TTSカスケードベースラインと比較して、1.5倍速く、FLOPsは47%、メモリ使用量は55%削減された。
• スペクトログラムを予測する変換型トランスレータ（Translatotron）ベースラインと比較して、S2UT低減モデルは1.3倍速く、FLOPsは39%、メモリ使用量は51%削減された。
• ソース音声単位を補助タスクとして用いることで、この信号なしで訓練した場合と比較してS2UT性能が1.4 BLEUポイント向上し、アテンション学習の安定化に有効であることが示された。
• CTCベースの長さアライメントを用いた音声・テキスト同時学習フレームワークにより、1回の推論プロセスで音声とテキストの出力を同時に生成でき、効率性と一貫性が向上した。