[論文レビュー] Hierarchical Representation of Prosody for Statistical Speech Synthesis

Antti Suni, Daniel Aalto+1 more|arXiv (Cornell University)|Oct 7, 2015

Speech Recognition and Synthesis参考文献 41被引用数 3

ひとこと要約

本稿では、連続ウェーブレット変換（CWT）を用いて、統計的音声合成のための教師なし階層的プロソディ表現を提案する。この手法は、周波数、エネルギー、持続時間の各特徴をスケール空間フレームワークで分析することで、プロソディックな強調と境界を同時に検出する。ボストン大学ラジオニュースコーパスにおいて、音声的、語彙的、文法的特徴を用いた教師あり最先端手法と同等の性能を達成し、精度はそれらのシステムと3–4%以内に収まる。

ABSTRACT

Prominences and boundaries are the essential constituents of prosodic structure in speech. They provide for means to chunk the speech stream into linguistically relevant units by providing them with relative saliences and demarcating them within coherent utterance structures. Prominences and boundaries have both been widely used in both basic research on prosody as well as in text-to-speech synthesis. However, there are no representation schemes that would provide for both estimating and modelling them in a unified fashion. Here we present an unsupervised unified account for estimating and representing prosodic prominences and boundaries using a scale-space analysis based on continuous wavelet transform. The methods are evaluated and compared to earlier work using the Boston University Radio News corpus. The results show that the proposed method is comparable with the best published supervised annotation methods.

研究の動機と目的

• 音声合成におけるプロソディックな強調と境界を統合的・教師なしフレームワークでモデル化するための枠組みを開発すること。
• 強調と境界検出を別々に処理するか、人為的アノテーションを必要とする従来の表現手法の限界を克服すること。
• 連続ウェーブレット変換（CWT）による時間周波数スケール空間解析を活用し、階層的なプロソディック構造を検出すること。
• プロソディック強調および境界検出のための客観的指標を用いて、ボストン大学ラジオニュースコーパス上で本手法を評価すること。
• 1つの統合的信号表現が、教師なしで知覚的および音声学的に関連するプロソディック特徴を両方ともモデル化できることを示すこと。

提案手法

• 本手法は、1次元の音声信号（f0、エネルギーエンベロープ、持続時間）に連続ウェーブレット変換（CWT）を適用し、知覚的階層に類似した時間-スケール表現を生成する。
• スケール空間解析を用いてCWTスコググラム内の局所的最大値を検出し、音節、プロソディック語、強調/境界マーカーなどのプロソディックイベントを同定する。
• エネルギー信号における無声部や静音部に対処するためのギャップフィルティングアルゴリズムを導入し、境界検出のロバスト性を向上させる。
• f0、エネルギー、持続時間をCWT解析前に1つの入力信号に統合することで特徴の組み合わせを実現し、検出精度を向上させる。
• 音声学的および音声学的プロソディック構造と整合する階層的・多スケール表現を採用し、強調および境界イベントの統合的モデリングを可能にする。
• 最終的なアノテーションは、スケール全体にわたるCWT応答における局所的最大値から導出され、重複または曖昧なイベントの解消のための後処理が施される。

実験結果

リサーチクエスチョン

• RQ1 統合的・教師なし表現が、1つの信号処理フレームワークで強調と境界を両方検出可能か？
• RQ2 提案手法（CWTベース）の強調および境界検出性能は、教師あり最先端手法と比べてどの程度か？
• RQ3 f0、エネルギー、持続時間といった複数の音声特徴を組み合わせることで、個々の特徴に比べて検出精度がどの程度向上するか？
• RQ4 CWTを用いた階層的スケール空間解析は、従来のスペクトログ램ベースやMFCCベースの表現よりも、より良いプロソディック構造の捉え方を可能にするか？
• RQ5 人為的アノテーションを一切用いずに、人間と同等のプロソディック構造検出が可能か？

主な発見

• 提案手法は、音声的・語彙的・文法的特徴を用いた最良の教師あり手法と比較して、強調検出精度が3%以内、境界検出精度が4%以内に収まる。
• f0と持続時間の組み合わせにより、強調検出で3%、境界検出で4%の精度向上が得られ、持続時間の強力な識別力が示された。
• エネルギー信号のギャップフィルティングは境界検出を改善するが、強調検出にはほとんど影響を及ぼさない。これは、音節特徴が過剰に平滑化されるためと推察される。
• 教師なし最先端手法と比較して顕著な性能向上を示し、階層的スケール空間モデリングの有効性が裏付けられた。
• CWTフレームワーク内でf0、エネルギー、持続時間を統合的にモデリングすることで、知覚的および音声学的両面のプロソディック特徴を捉える統合的表現が得られた。
• 結果から、プロソディックな強調と境界は、単一の生産プロセスの現れである可能性が示唆され、統合的理論枠組みの支持が得られた。