[論文レビュー] Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog

Peter A. Heeman|arXiv (Cornell University)|Dec 23, 1997

Speech and dialogue systems参考文献 64被引用数 12

ひとこと要約

本論文は、話し言葉の修正、語調的フレーズ境界、話法的マーカー、品詞タグを同時に検出することで、音声認識を向上させる統計的言語モデルを提案する。これらのプロソディックおよび話法的特徴を認識プロセスの一部としてモデル化することにより、単語予測が向上し、話者発話のより豊かで意味的に意味のある解析が可能になる。音声的手がかり（例：沈黙）を無音ではなく情報源として活用する。

ABSTRACT

In this thesis, we present a statistical language model for resolving speech repairs, intonational boundaries and discourse markers. Rather than finding the best word interpretation for an acoustic signal, we redefine the speech recognition problem to so that it also identifies the POS tags, discourse markers, speech repairs and intonational phrase endings (a major cue in determining utterance units). Adding these extra elements to the speech recognition problem actually allows it to better predict the words involved, since we are able to make use of the predictions of boundary tones, discourse markers and speech repairs to better account for what word will occur next. Furthermore, we can take advantage of acoustic information, such as silence information, which tends to co-occur with speech repairs and intonational phrase endings, that current language models can only regard as noise in the acoustic signal. The output of this language model is a much fuller account of the speaker's turn, with part-of-speech assigned to each word, intonation phrase endings and discourse markers identified, and speech repairs detected and corrected. In fact, the identification of the intonational phrase endings, discourse markers, and resolution of the speech repairs allows the speech recognizer to model the speaker's utterances, rather than simply the words involved, and thus it can return a more meaningful analysis of the speaker's turn for later processing.

研究の動機と目的

• 単語列を超えたプロソディックおよび話法的特徴をモデル化することで、音声認識を向上させること。
• 従来の言語モデルが沈黙やプロソディック手がかりをノイズとして扱うという限界を是正すること。
• 語調的フレーズ境界および話法的マーカーの特定を通じて、より正確で意味的に意味のある話者発話の解釈を可能にすること。
• 話し言葉の修正と品詞タグの認識パイプラインへの統合により、文脈に配慮した予測を向上させること。
• 話者レベルの発話構造をモデル化することで、単語予測と認識精度が向上することを実証すること。

提案手法

• 従来の言語モデルを拡張し、単語列に加えて品詞タグ、語調的フレーズ境界、話法的マーカー、話し言葉の修正を同時に予測する。
• 沈黙の持続時間などの音声特徴を、修正や語調的境界と関連づけた情報的信号として使用する。
• 言語的単位とプロソディック特徴の間の依存関係をモデル化するため、条件付きランダムフィールド（CRF）に類似したフレームワークを採用する。
• 話し言葉の修正は、発話構造内での不順応マーカーとその修正を特定することで検出・是正する。
• プロソディック手がかりを言語モデル処理に統合し、話法的およびイントネーションの文脈認識を通じて次単語予測を向上させる。
• 認識タスクを構造的予測問題として扱い、1発話ごとに複数の相互に依存するアノテーションを出力とする。

実験結果

リサーチクエスチョン

• RQ1 話し言葉の修正、語調的境界、話法的マーカーをモデル化することで、音声認識における単語予測が向上するか？
• RQ2 沈黙のような音声的手がかりを、ノイズではなく情報的特徴として活用できるか？
• RQ3 プロソディックおよび話法的構造を統合することで、話者発話解析の解釈可能性と正確性はどの程度向上するか？
• RQ4 品詞タグ、修正、語調的フレーズ境界の共同モデル化は、全体的な認識性能を向上させるか？
• RQ5 話法的マーカーと境界検出を組み込むことで、より自然で意味のある話者発話表現が可能になるか？

主な発見

• プロソディックおよび話法的特徴の共同モデル化により、より豊かな文脈的制約が得られ、単語予測の正確性が向上する。
• 音声的沈黙が話し言葉の修正および語調的フレーズ境界と同時に発生することが示され、検出に有用な信号であることが明らかになった。
• 本モデルは話し言葉の修正を効果的に特定・是正し、より一貫性があり正確な発話表現を生成する。
• 語調的フレーズ境界および話法的マーカーは効果的に検出され、話者発話の意味的単位への分割が改善された。
• これらの特徴を統合することで、標準的な単語レベル認識に比べ、話者発話のより包括的で意味的に意味のある解析が可能になった。
• 本システムは、単語を越えた話者レベルの構造をモデル化することで、話者理解の質が著しく向上することを示している。