[論文レビュー] Generating Segment Durations in a Text-To-Speech System: A Hybrid Rule-Based/Neural Network Approach

Gerald Corrigan, Noel Massey+1 more|ArXiv.org|Nov 24, 1998

Speech and dialogue systems参考文献 3被引用数 9

ひとこと要約

本稿では、ルールベースのシステムとニューラルネットワークを組み合わせたハイブリッド手法を提示し、音声合成（TTS）システムにおけるセグメント持続時間の生成に応用している。ルールに従って発火する特徴量をニューラルネットワークに統合することで、持続時間予測の精度が向上し、合成音声は聴取者によって自然な音声と同等の品質であると評価された。

ABSTRACT

A combination of a neural network with rule firing information from a rule-based system is used to generate segment durations for a text-to-speech system. The system shows a slight improvement in performance over a neural network system without the rule firing information. Synthesized speech using segment durations was accepted by listeners as having about the same quality as speech generated using segment durations extracted from natural speech.

研究の動機と目的

• 自然な音声に聞こえるセグメント持続時間の生成という課題に対処すること。
• 完全にニューラルネットワークに依存するモデルを上回る持続時間予測の精度を向上させること。
• 象徴的言語ルールとデータ駆動型ニューラルネットワークを統合し、プロソディック出力を向上させること。
• 提案された持続時間生成手法を用いた合成音声の知覚的品質を評価すること。
• ハイブリッドシステムが、持続時間モデリングにおいて自然な音声に近い性能を達成できることを示すこと。

提案手法

• ルールベースのシステムを用いて、語の品詞、音節位置、アクセントなどの、セグメント持続時間に影響を与える言語的特徴量を抽出する。
• ルールベースシステムの出力を、フィードフォワードニューラルネットワークの追加入力特徴量として使用する。
• 自然な音声からのテキストと対応するセグメント持続時間のデータセットを用いて、ニューラルネットワークを学習する。
• ルールベースの発火信号とニューラルネットワークの予測値を組み合わせ、最終的な持続時間推定値を生成する。
• 学習済みのハイブリッドモデルを用いて、TTSパイプラインにおける未学習のテキスト入力の持続時間予測を実行する。
• 予測された持続時間を連結型またはパrametric TTSシステムに適用し、音声を合成する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの言語的特徴量をニューラルネットワークに統合することで、セグメント持続時間予測の性能が向上するか？
• RQ2 スタンドアロンのニューラルネットワークと比較して、ハイブリッドルールベース／ニューラルネットワークシステムは、持続時間推定においてどのように差がつくか？
• RQ3 ハイブリッド手法で生成された持続時間を使用した合成音声は、人間の録音音声の自然さとどの程度類似しているか？
• RQ4 ルールベースシステムから得られるどの具体的な言語的特徴量が、持続時間予測において最も顕著に寄与しているか？
• RQ5 象徴的ルールの追加により、ニューラル持続時間モデリングにおける大規模な学習データセットの必要性が低下するか？

主な発見

• ハイブリッドシステムは、単独のニューラルネットワークよりもわずかだが測定可能な精度の向上を達成した。
• 聴取者による評価では、ハイブリッドシステムから得られた持続時間を使用した合成音声は、自然な音声から抽出された持続時間を使用した音声と同等の品質であると評価された。
• ルールに従って発火する特徴量の統合により、ニューラルネットワークのプロソディックな変動のモデル化能力が向上した。
• ルールベースのコンponentは解釈可能性を提供し、純粋なニューラルモデルが見逃しがちな発音的および文法的文脈を捉えた。
• このシステムは、シンボリック知識とニューラル学習を組み合わせることで、性能と知覚的品質の両方を向上させられることを示した。
• 結果から、ハイブリッドアーキテクチャは、TTSシステムにおいてデータ駆動型学習と言語的事前知識の両方を効果的にバランスさせられると示唆された。