[論文レビュー] PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS

Jia Ye, Heiga Zen+3 more|arXiv (Cornell University)|Mar 28, 2021

Speech Recognition and Synthesis参考文献 29被引用数 5

ひとこと要約

本稿では、音素と字素の表記を統合的に処理し、語のレベルでのアライメントをとることで、神経音声合成（TTS）の性能を向上させる自己教師あり事前学習型BERTベースのエンコーダー、PnG BERTを提案する。大規模なテキストコーパスを用いた事前学習により、抑揚と発音の正確性が向上し、主観評価において人間並みの自然さを達成した。合成音声とプロの録音との間に顕著な好みの差は認められなかった。

ABSTRACT

This paper introduces PnG BERT, a new encoder model for neural TTS. This model is augmented from the original BERT model, by taking both phoneme and grapheme representations of text as input, as well as the word-level alignment between them. It can be pre-trained on a large text corpus in a self-supervised manner, and fine-tuned in a TTS task. Experimental results show that a neural TTS model using a pre-trained PnG BERT as its encoder yields more natural prosody and more accurate pronunciation than a baseline model using only phoneme input with no pre-training. Subjective side-by-side preference evaluations show that raters have no statistically significant preference between the speech synthesized using a PnG BERT and ground truth recordings from professional speakers.

研究の動機と目的

• 音声合成における抑揚や発音のあいまいさを扱う際、音素のみまたは字素のみのエンコーダーの限界を是正すること。
• 語のレベルでのアライメントをとった音素と字素の表記を統合的にモデリングすることで、TTSにおける自然言語理解を向上させること。
• 大規模なテキストコーパスを用いた自己教師ありマスク言語モデリングにより、統合エンコーダーの有効な事前学習を可能にすること。
• 事前学習済みPnG BERTエンコーダーが、神経TTSシステムにおける音声の自然さと発音の正確性を顕著に向上させることを実証すること。
• プロの録音と比較した側面評価により、人間並みの音声品質を達成すること。

提案手法

• PnG BERTは、BERTを拡張し、IPA表記の音素列とサブワードユニット（字素）列の2つの入力セグメントを扱う。両者は同一の埋め込み空間を共有する。
• 語の位置を表す埋め込みを、正弦関数から導出したものとして導入し、音素と字素の間の語レベルのアライメントを明示的にモデル化する。
• 大規模なテキストコーパス上でマスク言語モデリング（MLM）の目的関数を用いて事前学習を行う。特に、音素と字素のアライメントを維持するための、語レベルの一貫性を持つマスキング戦略を新規に導入した。
• 事前学習の過程で、文脈に基づいてマスクされた音素と字素を予測するように学習する。両モodalの間で埋め込みを共有する。
• 事前学習済みPnG BERTエンコーダーは、アテンションベースおよびディュレーションベースの両TTSアーキテクチャと互換性を持つ、エンドツーエンドの微調整が可能である。
• 音素と字素の両方のトークンIDを共有する空間を用いることで、両モダリティの統合的表現学習を可能にするとともに、標準BERTとのアーキテクチャ的整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 語のレベルでのアライメントをとった音素と字素の表記の統合的モデリングは、神経TTSにおける抑揚と発音の改善に寄与するか？
• RQ2 大規模なテキストコーパスを用いた二モダリティ型BERTアーキテクチャを用いた自己教師あり事前学習は、合成音声の一般化性能と自然さの向上に寄与するか？
• RQ3 音素または字素のみを入力とするモデルと比較して、PnG BERTは発音エラーをどの程度低減するか？
• RQ4 PnG BERTを基盤とするTTSシステムは、プロのスピーカーの録音と同等の知覚的品質を達成できるか？
• RQ5 事前学習段階で語のレベルでのアライメントを考慮したマスキング戦略を導入した場合、ランダムまたは一貫性のないマスキング戦略と比較して、モデル性能にどのような影響を与えるか？

主な発見

• PnG BERTを神経TTSモデルに組み込むことで、音声の自然さが顕著に向上し、平均評価得点（MOS）は4.47 ± 0.05を記録。プロの録音と同等の性能を達成した。
• 側面比較評価による主観的評価では、PnG BERTを用いて合成された音声とプロのスピーカーによる基準録音との間に、統計的に有意な差は認められなかった。
• アブレーションスタディの結果、事前学習と語レベルのアライメントが極めて重要であることが判明した。事前学習を行わないモデルは、長文入力においてベースラインより劣り、一般化性能が低いことが示された。
• 最も優れたPnG BERTバージョンは、語レベルの一貫性を持つマスキング戦略を採用しており、事前学習段階でG2PおよびP2Gの精度が最も高く、TTS性能の向上と相関していた。
• レーティングのコメントから、ストレスの適切な処理、抑揚の自然さ、不自然な歪みの低減といった点で、ベースラインより優れた性能が確認された。
• 驚くべきことに、事前学習段階でG2P/P2G精度が最も高かったモデルが、TTS性能でも最良ではなかった。これは、主な利点がG2P変換の正確性ではなく、言語理解の向上にあると考えられる。