[論文レビュー] CoPaSul Manual -- Contour-based parametric and superpositional intonation stylization

Uwe D. Reichel|arXiv (Cornell University)|Dec 14, 2016

Phonetics and Phonology Research被引用数 7

ひとこと要約

CoPaSul は、音声からの自動的プロソディックアノテーションおよびイントネーション特徴抽出のための、輪郭ベースで、パラメトリックかつ重ね合わせ型のツールキットである。F0 ループをグローバル（レジスタレベル）およびローカル（アクセントグループレベル）の多項式形状のループの重ね合わせとしてモデル化することで、パラメトリックなスタイル化、ループクラスのクラスタリング、およびピッチ、エネルギー、リズム、発声質などのプロソディック特徴の抽出が可能となる。

ABSTRACT

The purposes of the CoPaSul toolkit are (1) automatic prosodic annotation and (2) prosodic feature extraction from syllable to utterance level. CoPaSul stands for contour-based, parametric, superpositional intonation stylization. In this framework intonation is represented as a superposition of global and local contours that are described parametrically in terms of polynomial coefficients. On the global level (usually associated but not necessarily restricted to intonation phrases) the stylization serves to represent register in terms of time-varying F0 level and range. On the local level (e.g. accent groups), local contour shapes are described. From this parameterization several features related to prosodic boundaries and prominence can be derived. Furthermore, by coefficient clustering prosodic contour classes can be obtained in a bottom-up way. Next to the stylization-based feature extraction also standard F0 and energy measures (e.g. mean and variance) as well as rhythmic aspects can be calculated. At the current state automatic annotation comprises: segmentation into interpausal chunks, syllable nucleus extraction, and unsupervised localization of prosodic phrase boundaries and prominent syllables. F0 and partly also energy feature sets can be derived for: standard measurements (as median and IQR), register in terms of F0 level and range, prosodic boundaries, local contour shapes, bottom-up derived contour classes, Gestalt of accent groups in terms of their deviation from higher level prosodic units, as well as for rhythmic aspects quantifying the relation between F0 and energy contours and prosodic event rates.

研究の動機と目的

• 音節から発話レベルまでのシステム的で自動的なプロソディックアノテーション手法の開発。
• より優れたスタイル化と特徴抽出を実現するため、パラメトリックなグローバルおよびローカル F0 ループの重ね合わせとしてイントネーションをモデル化すること。
• 多項式係数のクラスタリングによる、ボトムアップなプロソディックループクラスの発見を可能にすること。
• F0 およびエネルギーのループから、標準的で、リズミカルで、グスタルトベースのプロソディック特徴を抽出すること。
• モジュラーで設定可能な Python および Praat スクリプトを通じて、スピーク処理パイプラインへの統合を支援すること。

提案手法

• F0 ループを、時間的に変化するレベルと範囲を持つグローバル（時間的変動）およびアクセントグループレベルのローカルな多項式形状のループの重ね合わせとして表現する。
• 設定可能な分析ウィンドウを用いて、F0 の前処理、残差抽出、正規化を実行する。
• 多項式係数に対して非教師ありクラスタリング（初期シードをブートストラップした k-means）を適用し、ループクラスを導出する。
• 標準的特徴（平均、四分位範囲）、リズミカル特徴（F0-エネルギー相関、イベントレート）、およびグスタルト特徴（グローバルトレンドからの逸脱）を抽出する。
• パーセンタイルスプリットまたは k-means を用いたブートストラップによる、インターパウーズ・チャンクへの自動セグメンテーション、音節核検出、およびプロソディック境界の局所化を支援する。
• Pandas の DataFrame、ネストされた辞書、F0 テーブル、および可視化プロットといった、設定可能な出力形式を提供し、検証および分析に役立てる。

実験結果

リサーチクエスチョン

• RQ1 より優れたプロソディック特徴抽出を実現するため、パラメトリックなグローバルおよびローカル F0 ループの重ね合わせとしてイントネーションをどのようにモデル化できるか？
• RQ2 多項式係数に対する非教師ありクラスタリングは、自然なプロソディックループクラスを発見するためにどの程度有効か？
• RQ3 F0 特徴に対するパーセンタイルスプリットおよび k-means ブートストラップを用いた場合、プロソディック境界およびピッチアクセントの局所化はどの程度正確に可能か？
• RQ4 F0 およびエネルギーのループから導出されるリズミカルおよびグスタルト特徴は、プロソディックの顕著性と構造をどの程度的確に捉えられるか？
• RQ5 多様なスピーク処理アプリケーションにおけるエンドツーエンドのプロソディック分析を支援するため、モジュラーで設定可能なツールキットをどのように設計できるか？

主な発見

• CoPaSul は、標準的測定値、レジスタ表現、F0 およびエネルギーのループのリズミカルな側面を含む包括的なプロソディック特徴を効果的に抽出した。
• このツールキットは、インターパウーズ・チャンクへのセグメンテーション、音節核検出、および非教師ありプロソディック境界の局所化を含む、正確な自動プロソディックアノテーションを達成した。
• 多項式係数に基づくループクラスタリングにより、ボトムアップなアプローチで明確に区別できる、データ駆動型のプロソディックループクラスが発見された。
• ローカルセグメント全体にわたる、元の F0 ループとスタイライズされた F0 ループの間の平均 RMSD が、妥当性指標として報告され、高いスタイライズ精度を示した。
• Pandas の DataFrame、ネストされた辞書、F0 テーブルといった柔軟な出力フォーマットをサポートしており、後続の NLP や TTS パイプラインへの統合が可能となった。
• プロット機能により、スタイライズ結果の視覚的妥当性検証が可能であり、メタデータ要因に基づくグループ化や個々のセグメントのブラウジングも可能である。