[論文レビュー] Intonational Boundaries, Speech Repairs and Discourse Markers: Modeling Spoken Dialog

Peter A. Heeman, James F. Allen|ArXiv.org|Apr 23, 1997

Speech and dialogue systems参考文献 15被引用数 13

ひとこと要約

本論文では、会話対話におけるイントネーション的境界、話の修復、ディス course マーカーを同時に検出する共同統計的言語モデルを提示する。これらの現象を処理の初期段階で統合的にモデル化することで、すべてのタスク、特に品詞タギングとパープレキシティの性能が向上し、相互に依存する会話現象が、会話理解システムにおける統合的分析によって恩恵を受けることを示している。

ABSTRACT

To understand a speaker's turn of a conversation, one needs to segment it into intonational phrases, clean up any speech repairs that might have occurred, and identify discourse markers. In this paper, we argue that these problems must be resolved together, and that they must be resolved early in the processing stream. We put forward a statistical language model that resolves these problems, does POS tagging, and can be used as the language model of a speech recognizer. We find that by accounting for the interactions between these tasks that the performance on each task improves, as does POS tagging and perplexity.

研究の動機と目的

• 会話対話の理解の課題に、統合的なフレームワーク内でイントネーション的境界、話の修復、ディス course マーカーを解消すること。
• これらの現象を個別にではなく、統合的にモデル化することで、会話理解を向上させること。
• プロソディックおよびディス course 現象を考慮する堅牢な言語モデルを統合することで、音声認識システムの性能を向上させること。
• 処理の初期段階でこれらのタスクを統合することで、言語モデルおよびタギングタスク全体の性能が向上することを示すこと。

提案手法

• 著者らは、条件付きランダムフィールド（CRF）フレームワークを用いて、イントネーション的境界、話の修復、ディス course マーカーを共同でモデル化する統計的言語モデルを開発した。
• モデルは、プロソディック・キューや語彙的コンテンツ、文法的文脈から得られる特徴を用いて、イントネーション的フレーズ境界を特定する。
• 話の修復は、『uh』、『um』、繰り返し語など、不順応マーカーを特定することで検出され、音声的および語彙的特徴の組み合わせが用いられる。
• 『well』、『so』、『you know』などのディス course マーカーは、パターンマッチングと文脈埋め込みを用いてモデル内で認識される。
• モデルは共同推論プロセスの一部として品詞タギング（POSタギング）を実行し、共有された文脈情報によってタギング精度が向上する。
• システムはアノテート済みの会話音声データで学習され、音声認識パイプラインにおける言語モデルとして使用される。

実験結果

リサーチクエスチョン

• RQ1 イントネーション的境界、話の修復、ディス course マーカーの共同モデリングが、個別タスクの性能向上に寄与するか。
• RQ2 処理ストリームの初期段階でこれらのプロソディックおよびディス course 現象を統合すると、品詞タギングおよび言語モデルのパープレキシティにどのような影響を与えるか。
• RQ3 即興会話におけるイントネーション的フレーズ境界を特定するにあたり、最も効果的な特徴は何か。
• RQ4 話の修復とディス course マーカーは会話対話でどの程度相互に作用し、どのように同時にモデル化できるか。
• RQ5 音声認識の文脈において、統一された統計的モデルが個別モデルを上回る性能を発揮できるか。

主な発見

• イントネーション的境界、話の修復、ディス course マーカーの共同モデリングは、個別モデリングと比較して、3つのタスクすべての性能向上をもたらす。
• 統合モデルは、ベースライン言語モデルと比較して低いパープレキシティを達成しており、会話言語のシーケンスモデリングが向上していることを示している。
• 境界検出および修復検出と同時に品詞タギングを実行することで、共有された文脈情報のおかげでタギング精度が向上する。
• 音声的および語彙的特徴のおかげで、プロソディック境界を高い精度で同定することができる。
• 文脈的およびプロソディック特徴をモデルに統合することで、話の修復の検出精度が向上する。
• 処理の初期段階で言語現象間の相互作用をモデル化することで、全体のシステム性能が向上することを示している。