[論文レビュー] Expressivity in TTS from Semantics and Pragmatics

Rodolfo Delmonte|arXiv (Cornell University)|Mar 20, 2018

Natural Language Processing Techniques参考文献 22被引用数 5

ひとこと要約

この論文では、意味的・構文的・意図的分析を統合することで表現力を向上させる、テキスト対音声（TTS）システムSPARSARを提示する。テキストを呼吸区画と詩的構造（スタイリスティックな詩的構造）としてモデル化し、意図的にマークされた表現に特化したイントネーションのパターンを適用することで、詩や寓話、一般の文章に対応した洗練されたプロソディーを実現した。結果は、ToBIにインspiredされたがパrameter数を倍増させたセットを用いて、英語の寓話や短編物語に対して検証された。

ABSTRACT

In this paper we present ongoing work to produce an expressive TTS reader that can be used both in text and dialogue applications. The system called SPARSAR has been used to read (English) poetry so far but it can now be applied to any text. The text is fully analyzed both at phonetic and phonological level, and at syntactic and semantic level. In addition, the system has access to a restricted list of typical pragmatically marked phrases and expressions that are used to convey specific discourse function and speech acts and need specialized intonational contours. The text is transformed into a poem-like structures, where each line corresponds to a Breath Group, semantically and syntactically consistent. Stanzas correspond to paragraph boundaries. Analogical parameters are related to ToBI theoretical indices but their number is doubled. In this paper, we concentrate on short stories and fables.

研究の動機と目的

• 基本的なテキストレンダリングをはるかに超える、文脈にふさわしい表現力のある発話を生成できるTTSシステムの開発。
• 従来のTTSにおけるプロソディックな変化の不足を、意味的および意図的キューを組み込むことで是正すること。
• 話し手の意図や発話行為を、特別に設計されたイントネーションのパターンによって音声出力に反映させること。
• 詩にとどまらず、寓話や短編物語などの一般物語的テキストにも適用可能なシステムの拡張。
• ToBIに基づく二重パラメータシステムを用いて、プロソディック構造を形式化すること。

提案手法

• システムは、入力テキストに対して完全な音声的・音韻的・構文的・意味的解析を実行する。
• 意味的・構文的整合性に基づき、テキストを呼吸区画（行）とスタイリスティックな詩的構造（段落境界）に構造化する。
• 話し手の意図に基づく特定の発話機能を示す、制限付きの語彙（意味的にマークされたフレーズ）を用いて、特定のイントネーションパターンを必要とする表現を同定する。
• ToBIの理論的指標に類似したアナロジカルパラメータを用いるが、より細かいプロソディック制御を可能にするために、パラメータ数を倍増させる。
• 意味的および意図的特徴を音声的実現にマッピングすることで、適切なピッチおよびタイミングパターンを用いたプロソディーを生成する。
• テキストに階層的構造を適用し、プロソディックユニットを構文的および意味的境界と一致させる。

実験結果

リサーチクエスチョン

• RQ1 意味的および意図的特徴を、TTSにおけるプロソディックパターンに体系的にマッピングする方法は何か？
• RQ2 詩的構造に類似した形式的表現が、非詩的物語的テキストにおいても表現力を向上させ得るか、その程度はいかほどか？
• RQ3 意図的にマークされた表現は、TTSにおいて信頼性高く検出可能であり、適切なイントネーションパターンに割り当てられるか？
• RQ4 ToBIに比べてパラメータ数を倍増させたアナロジカルパラメータの使用が、どのようにプロソディックな表現力を向上させるか？
• RQ5 詩に特化したTTSフレームワークを、一般物語的および対話的テキストに適用する可能性はどの程度あるか？

主な発見

• SPARSARシステムは、詩や物語的テキスト（寓話や短編物語を含む）の両方において、表現力のある発話を成功裏に生成した。
• 意味的および意図的解析の統合により、システムは発話機能に文脈にふさわしいイントネーションパターンを割り当てることができた。
• 意味的および構文的境界に基づく呼吸区画とスタイリスティックな詩的構造の使用により、プロソディックの整合性と自然さが向上した。
• 標準のToBIベースのシステムに比べ、パラメータ数を倍増させた本システムの仕組みにより、より洗練されたプロソディック表現が可能になった。
• フレームワークは詩的テキストから非詩的テキストへの適用が可能であり、表現力のあるTTSの適用範囲を拡大した。
• 検証は英語の寓話および短編物語への適用を通じて達成され、本手法の物語的文脈における有効性が確認された。