[論文レビュー] An Investigation of the Relation Between Grapheme Embeddings and Pronunciation for Tacotron-based Systems

Antoine Perquin, Erica Cooper+1 more|arXiv (Cornell University)|Oct 21, 2020

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、フランス語の表記文字を用いて訓練されたTacotronモデルが、訓練中に発音に関する明示的监督を受けていないにもかかわらず、その埋め込み表現に音声の類似表現を暗黙的に学習しているかを調査している。主な発見は、これらのグラフム埋め込みを用いることで、音声の発音情報が暗黙的に符号化されており、グラフムから音素への変換（G2P）や合成音声における発音制御が可能になることである。これは、音声入力がなくても音声的制御が可能なグラフムオンリーのシステムにおいても、音声的操作が実現可能であることを示している。

ABSTRACT

End-to-end models, particularly Tacotron-based ones, are currently a popular solution for text-to-speech synthesis. They allow the production of high-quality synthesized speech with little to no text preprocessing. Indeed, they can be trained using either graphemes or phonemes as input directly. However, in the case of grapheme inputs, little is known concerning the relation between the underlying representations learned by the model and word pronunciations. This work investigates this relation in the case of a Tacotron model trained on French graphemes. Our analysis shows that grapheme embeddings are related to phoneme information despite no such information being present during training. Thanks to this property, we show that grapheme embeddings learned by Tacotron models can be useful for tasks such as grapheme-to-phoneme conversion and control of the pronunciation in synthetic speech.

研究の動機と目的

• 音声的監視が一切ないにもかかわらず、グラフムで訓練されたTacotronモデルが音素に関連する表現を学習しているかどうかを調査すること。
• 低リソース環境におけるグラフムから音素への変換（G2P）に、グラフム埋め込みを効果的に活用できるかどうかを評価すること。
• グラフムベースのTTSシステムにおいて、学習済みの埋め込みを操作することで発音制御が可能かどうかを検討すること。
• 高品質なフランス語データセット上で、グラフムベースと音素ベースのTacotronモデルの性能を比較すること。
• 表記の整合性が、学習済みのグラフム埋め込みの音声的関連性に与える影響を評価すること。

提案手法

• 一時的でないグラフムを入力として使用し、CBHGモジュールと自己注意ブロックを備えたTacotronベースのモデルを、キュレートされたフランス語データセット上で訓練した。
• 可変長のグラフム系列を処理するCBHGモジュールの出力から埋め込みを抽出した。このモジュールはNグラムに類似したパターンをフィルターバンクとして機能する。
• 抽出されたグラフム埋め込みから音素を予測するための浅いLSTMモデルを、CTC損失関数を用いて訓練した。これにより、アライメントデータが不要なエンドツーエンドの音素予測が可能になった。
• テストセットにおける発音誤り率（PER）を測定し、埋め込み表現と生のグラフムの両方を用いたG2P性能を評価した。
• 合成音声における発音制御を実証するための概念実証実験として、文の間で文脈的グラフム埋め込みを交換した。
• Tacotronモデルが予測したメルスペクトログ램から音声を生成するために、WaveRNN音声生成器を用いた。

実験結果

リサーチクエスチョン

• RQ1 音声的監視なしに訓練されたTacotronモデルのグラフム埋め込みに、意味のある音声的情報が含まれているか？
• RQ2 特に低リソース状況下において、グラフム埋め込みを効果的にグラフムから音素への変換（G2P）に活用できるか？
• RQ3 学習済みの埋め込みを操作することで、グラフムベースのTTSシステムで発音制御が可能か？
• RQ4 高品質なフランス語データセット上でのグラフムベースTacotronと音素ベースTacotronの性能は、どのように比較されるか？
• RQ5 表記の整合性が、学習済みのグラフム埋め込みの音声的関連性に与える影響は何か？

主な発見

• キュレートされたフランス語データセット上で、グラフムベースのTacotronモデルは音声の正確性と全体的な音声品質の点で、音素ベースのモデルと同等の性能を達成した。
• G2P変換にグラフム埋め込みを用いた場合、訓練データセットにおける平均発音誤り率（PER）は12.8%であった。これは、生のグラフムを直接学習したモデル（PER 19.3%）を上回る性能であった。
• 小規模な開発セット（400文）でも、埋め込みを用いたG2Pモデルは生のグラフムモデル（PER 30.2%）を上回り、データ不足に強いことが示された（PER 16.4%）。
• 文脈が類似した状況で「b」と「m」のグラフム埋め込みを交換することで、合成音声が「/b/」の代わりに「/m/」を正しく発音するのを成功裏に実証した。
• 文脈の差が大きい場合には、聴取者が意図した音素を信頼性高く特定できなかったため、埋め込みベースの制御は文脈依存であることが示された。
• 結果から、TacotronのCBHGモジュールがNグラムベースのG2Pルールに類似した統計的パターンを暗黙的に学習しており、音声的表現の学習がグラフムのみから可能であることが示唆された。