[論文レビュー] Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis

Mutian He, Jingzhou Yang+2 more|arXiv (Cornell University)|Mar 5, 2021

Speech Recognition and Synthesis参考文献 30被引用数 15

ひとこと要約

本論文は、43の言語で、語彙やG2Pルール、言語学的専門知識を必要とせず、rawなUTF-8バイトをスペクトログ램にマッピングするマルチリンガルなByte2Speechフレームワークを提案する。モデルは発音記号ベースのシステムと同等の性能を達成し、40秒程度の音声データで低リソース言語への少サンプル適応が可能であり、新しい構造的プルーニング手法により、共有マルチリンガルアーキテクチャ内に言語固有のサブネットワークが出現することが明らかになった。

ABSTRACT

To scale neural speech synthesis to various real-world languages, we present a multilingual end-to-end framework that maps byte inputs to spectrograms, thus allowing arbitrary input scripts. Besides strong results on 40+ languages, the framework demonstrates capabilities to adapt to new languages under extreme low-resource and even few-shot scenarios of merely 40s transcribed recording, without the need of per-language resources like lexicon, extra corpus, auxiliary models, or linguistic expertise, thus ensuring scalability. While it retains satisfactory intelligibility and naturalness matching rich-resource models. Exhaustive comparative and ablation studies are performed to reveal the potential of the framework for low-resource languages. Furthermore, we propose a novel method to extract language-specific sub-networks in a multilingual model for a better understanding of its mechanism.

研究の動機と目的

• 語彙やG2Pルール、言語学的専門知識といった言語別リソースに依存しないスケーラブルで低リソースな音声合成フレームワークの開発。
• 追加のデータや補助モデルを必要とせず、40秒の音声データのみで新言語への少サンプル適応を可能にする。
• 特に低リソース環境下で、マルチリンガルモデルがどのように知識を学習・転送するかを調査すること。
• パラメータプルーニングを用いて言語固有サブネットワークを同定するメカニズムを提供すること。

提案手法

• 入力トークンとしてrawなUTF-8バイトを使用する12層のTransformer TTSフレームワークを採用し、スクリプト固有の前処理なしにすべてのUnicodeスクリプトをサポート。
• 言語とスピーカーの埋め込みをエンコーダ出力に連結するが、言語IDを直接入力に与えることで性能向上は見られない。
• 900時間のマルチリンガルデータ（43言語、109人の話者）を用い、言語バランスをとった段階的トレーニング戦略を採用。前処理は数字正規化や中国語の語彙分割といった基本的なものに限定。
• コトレーニング戦略により、ルーマニア語やギリシャ語など、1分未満の音声データで新言語への少サンプル適応が可能。
• 新規言語固有のサブネットワークを同定するための新規な言語固有プルーニング手法を導入。ドイツ語などのソース言語からの勾配感度スコアを用いサブネットワークを抽出後、ターゲット言語で再訓練し、機能性を評価。
• オープンソースリソースに基づくフレームワークを構築し、再現性を確保するための公開パイプラインと音声デモを提供。

実験結果

リサーチクエスチョン

• RQ1 多様なスクリプトと言語でトレーニングされたマルチリンガルTTSモデルは、言語固有リソースなしに、新たな低リソース言語へ一般化可能か？
• RQ2 40秒程度の音声データでの高品質な音声合成が、どの程度達成可能か？
• RQ3 言語の類似性は、マルチリンガルTTSフレームワークにおける転移学習とモデル適応にどのように影響するか？
• RQ4 共有マルチリンガルTransformerモデル内に、出現的言語固有サブネットワークを同定・検証できるか？
• RQ5 言語構造や発音的類似性は、言語間で効果的な少サンプル適応を可能にする要因となるか？

主な発見

• Byte2Speechモデルは、発音記号入力や言語固有の前処理なしに、43言語で発音記号ベースのモデルと同等の音声合成品質を達成した。
• 40秒の音声データでの少サンプル適応が可能であり、より多くのデータでトレーニングされたベースラインモデルと同等の性能を達成した。
• ドイツ語からの勾配感度に基づくプルーニングでは広東語で54.9%の性能低下を示したが、ランダムプルーニングでは失敗した。これは、この手法が言語固有ニューロンを的確に同定していることを示している。
• マルチリンガルトレーニング中に言語固有サブネットワークが自然に出現することを示した。言語間の類似性が高いほど、転移性能も向上した。
• 包括的なアブレーションスタディにより、モデルの性能が入力の変動に頑健であり、言語バランスを取った段階的トレーニングが一般化性能に不可欠であることが確認された。
• インド系、中国語、非ラテン文字を含む多様なスクリプトに対し、スクリプト固有の工学的設計なしにゼロショットおよび少サンプル適応をサポートした。