[論文レビュー] Translatotron 2: Robust direct speech-to-speech translation.

Jia Ye, Michelle Tadmor Ramanovich+2 more|arXiv (Cornell University)|Jul 19, 2021

Speech Recognition and Synthesis参考文献 47被引用数 14

ひとこと要約

Translatotron 2 は、過剰生成の兆候（ボヤケた発話や長時間の沈黙など）を低減させながら、翻訳品質と音声の自然さを向上させるエンド・ツー・エンドの神経音声翻訳モデルです。音声エンコーダ、発音記号デコーダ、メルスペクトログラム合成器、およびアテンション機構を統合しており、生産環境での不正利用を防ぐために発話者の声を保持する仕組みを導入しています。

ABSTRACT

We present Translatotron 2, a neural direct speech-to-speech translation model that can be trained end-to-end. Translatotron 2 consists of a speech encoder, a phoneme decoder, a mel-spectrogram synthesizer, and an attention module that connects all the previous three components. Experimental results suggest that Translatotron 2 outperforms the original Translatotron by a large margin in terms of translation quality and predicted speech naturalness, and drastically improves the robustness of the predicted speech by mitigating over-generation, such as babbling or long pause. We also propose a new method for retaining the source speaker's voice in the translated speech. The trained model is restricted to retain the source speaker's voice, and unlike the original Translatotron, it is not able to generate speech in a different speaker's voice, making the model more robust for production deployment, by mitigating potential misuse for creating spoofing audio artifacts. When the new method is used together with a simple concatenation-based data augmentation, the trained Translatotron 2 model is able to retain each speaker's voice for input with speaker turns.

研究の動機と目的

• 従来のモデルを上回る、より強固で自然なエンド・ツー・エンドの音声から音声への翻訳システムの開発。
• 合成音声におけるボヤケた発話や長時間の沈黙といった過剰生成の問題の軽減。
• 翻訳出力において元の発話者の声を保持することで、本物らしさを高め、なりすましのリスクを低減。
• 発話者声の合成を元の発話者に限定することで、生産環境への導入を可能にする。
• データ拡張と組み合わせた新規な声の保持手法によるモデルの強靭性の向上。

提案手法

• モデルアーキテクチャは、音声エンコーダ、発音記号デコーダ、メルスペクトログラム合成器、およびすべてのコンポonentを接続するアテンションモジュールを統合している。
• 新しい声の保持メカニズムにより、翻訳音声が元の発話者の声の特徴を保持する。
• 異なる発話者の声で生成することを防ぐ制約を課したエンド・ツー・エンドの学習が実施された。
• マルチスケーラー入力における発話者ターンの処理を改善するために、連結ベースのデータ拡張技術が適用された。
• アテンションモジュールは、音声エンコーダの出力と発音記号デコーダおよび合成器を動的にアライメントさせ、より良い文脈統合を実現する。
• 翻訳と音声合成コンポーネントの共同最適化を実現するため、シーケンス・ツー・シーケンスフレームワークが使用された。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの音声から音声への翻訳モデルは、従来のモデルに比べて優れた翻訳品質と音声の自然さを達成できるか？
• RQ2 このモデルは、ボヤケた発話や長時間の沈黙といった過剰生成の兆候をどれほど効果的に軽減できるか？
• RQ3 翻訳音声において、元の発話者の声を信頼性高く保持できるか、不正利用を防げるか？
• RQ4 発話者声の保持は、実世界での導入に向けたモデルの強靭性をどの程度向上させるか？
• RQ5 データ拡張は、マルチスケーラー状況における発話者ターンの処理能力をどのように向上させるか？

主な発見

• Translatotron 2 は、元の Translatotron に比べて翻訳品質と音声の自然さが顕著に向上した。
• ボヤケた発話や長時間の沈黙といった過剰生成の兆候が著しく低減された。
• 発話者声の保持が成功裏に実装され、モデルが別の発話者の声で発話するのを防げた。
• 声の保持とデータ拡張の組み合わせにより、入力音声における発話者ターンの処理が効果的に可能になった。
• 制限付きの声の合成により、なりすましのリスクを最小限に抑えることで、生産環境への導入に向けたモデルの強靭性が向上した。
• 提案されたデータ拡張および声の保持手法のおかげで、複数人の発話者が登場する音声の翻訳においても、高いパフォーマンスを維持した。