[論文レビュー] Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes

Bo Li, Yu Zhang+3 more|arXiv (Cornell University)|Nov 22, 2018

Speech Recognition and Synthesis被引用数 9

ひとこと要約

本論文は、テキスト表現単位としてUTF-8エンコード済みのUnicodeバイトを用いるエンドツーエンドの多言語音声認識（音声→バイト、A2B）および音声合成（バイト→音声、B2A）モデルを提案する。固定の256語彙バイト空間を活用することで、大規模で言語固有の音素またはサブワード語彙の必要性を排除し、効率的な多言語モデリングを実現。平均して単言語ベースライン比4.4%の相対的WER改善を達成し、日本語・英語のコードスイッチングデータでは38.6%の相対的改善を示した。

ABSTRACT

We present two end-to-end models: Audio-to-Byte (A2B) and Byte-to-Audio (B2A), for multilingual speech recognition and synthesis. Prior work has predominantly used characters, sub-words or words as the unit of choice to model text. These units are difficult to scale to languages with large vocabularies, particularly in the case of multilingual processing. In this work, we model text via a sequence of Unicode bytes, specifically, the UTF-8 variable length byte sequence for each character. Bytes allow us to avoid large softmaxes in languages with large vocabularies, and share representations in multilingual models. We show that bytes are superior to grapheme characters over a wide variety of languages in monolingual end-to-end speech recognition. Additionally, our multilingual byte model outperform each respective single language baseline on average by 4.4% relatively. In Japanese-English code-switching speech, our multilingual byte model outperform our monolingual baseline by 38.6% relatively. Finally, we present an end-to-end multilingual speech synthesis model using byte representations which matches the performance of our monolingual baselines.

研究の動機と目的

• 日本語や韓国語のように数万文字もある言語のための、大規模でスパースな音素語彙の課題に対処すること。
• UTF-8バイトによる言語に依存しない表現を用いることで、言語固有の語彙や発音辞書の必要性を排除すること。
• アーキテクチャの変更なしに新言語を段階的に拡張可能な、スケーラブルでコンactかつ拡張性のある多言語ASRおよびTTSモデルを実現すること。
• 単言語および多言語設定、特にコードスイッチング状況を含む、バイトベースのモデルと音素ベースのベースラインとの性能を評価すること。

提案手法

• 音声→バイト（A2B）モデルは、音声を直接UTF-8エンコード済みバイト列にマッピングするため、Listen-Attend-and-Spell（LAS）アーキテクチャを用い、音素またはサブワード出力を置き換える。
• バイト→音声（B2A）モデルはタコトロン2に基づき、入力バイト列から音声を生成する。これにより、共通の256バイト語彙を用いたエンドツーエンド多言語TTSが実現される。
• 多言語学習では、モデルが崩壊を避けられるよう、新しい言語を小さな混合比で段階的に追加することで、同じモデル構造を維持したまま学習を進める。
• A2Bモデルは1ホット言語ベクトルで条件付けられており、推論時に言語固有の適応が可能になり、多言語データでの性能向上が図られる。
• モデルは完全にバイトで動作するため、言語固有のトークン化やサブワード分割の必要がなく、任意のUnicodeテキストに対するシームレスなサポートが可能になる。
• 混合言語テキストを連続するバイトストリームとして扱うことで、コードスイッチングをサポートし、言語境界検出やセグメンテーションの必要がない。

実験結果

リサーチクエスチョン

• RQ1 UTF-8バイト列は、多言語エンドツーエンド音声認識および合成の有効でスケーラブルなテキスト表現単位として機能するか。音素やサブワードに代わるものとして有効か。
• RQ2 大規模な音素語彙を持つ言語において、単語と多言語ASRの両設定で、バイトベースのモデルと音素ベースのモデルの性能はどのように比較されるか。
• RQ3 明示的な言語境界モデリングなしに、バイトベースのモデルは、日本語・英語混合発話のようなコードスイッチング音声をどの程度適切に処理できるか。
• RQ4 バイトレベル表現を用いた1つの多言語モデルは、TTSにおいて単言語ベースラインと同等の性能を達成できるか。また、モデルのコンパクト性と拡張性を維持できるか。
• RQ5 バイトレベル表現を用いた段階的言語追加は、性能の低下を防ぎ、新しい言語への効率的かつスケーラブルな拡張を可能にするか。

主な発見

• A2Bモデルは日本語および韓国語においてA2C（音素ベース）モデルを上回り、日本語・英語のコードスイッチングデータでは38.6%の相対的WER改善を示した。これは、未知語や混合言語コンテンツの処理能力に優れていることを示している。
• 平均して、4言語（英語、日本語、スペイン語、韓国語）の個別単言語ベースライン比、多言語A2Bモデルは4.4%の相対的WER改善を達成した。
• 言語混合比を用いた段階的学習で訓練された多言語A2Bモデルは、初期学習から訓練したモデルを上回り、言語間での一般化性能が優れていた。
• B2Aモデルは、単語ベースTTSモデルと同等の平均評価スコア（MOS）を達成した—英語で4.23±0.14、中国語で3.42±0.12、スペイン語で4.23±0.10—音声の自然さにおいて同等の性能を示した。
• バイトベースTTSモデルはコードスイッチングテキストの合成に成功したが、このような状況での流暢さや発話者の一貫性を評価する標準化された指標は存在しない。
• 多言語A2Bモデルにおける1ホット言語ベクトルの使用は性能向上に寄与したが、コードスイッチングデータでは発話レベルの言語情報に制限され、利点が限定的であった。これは、フレームレベルの言語条件付けの可能性を示唆している。