[論文レビュー] Can Prosody Aid the Automatic Classification of Dialog Acts in Conversational Speech?

E. Shriberg, Rebecca Bates+8 more|ArXiv.org|Jun 11, 2000

Speech and dialogue systems参考文献 34被引用数 4

ひとこと要約

本研究では、ピッチ、期間、エネルギー、話速などのプロソディック特徴が、自然な会話における対話行動（DA）の自動分類を改善できるかどうかを調査する。Switchboardコーパスを用いて、研究者はプロソディック特徴に基づく決定木を訓練し、手動またはASR出力からの語彙レベルの情報を組み合わせた。その結果、特に言語モデルと組み合わせた場合に、プロソディーがDA分類の正確性を顕著に向上させることを示し、複数のプロソディック特徴が対話行動をマークする上で冗長性を示していることがわかった。

ABSTRACT

Identifying whether an utterance is a statement, question, greeting, and so forth is integral to effective automatic understanding of natural dialog. Little is known, however, about how such dialog acts (DAs) can be automatically classified in truly natural conversation. This study asks whether current approaches, which use mainly word information, could be improved by adding prosodic information. The study is based on more than 1000 conversations from the Switchboard corpus. DAs were hand-annotated, and prosodic features (duration, pause, F0, energy, and speaking rate) were automatically extracted for each DA. In training, decision trees based on these features were inferred; trees were then applied to unseen test data to evaluate performance. Performance was evaluated for prosody models alone, and after combining the prosody models with word information -- either from true words or from the output of an automatic speech recognizer. For an overall classification task, as well as three subtasks, prosody made significant contributions to classification. Feature-specific analyses further revealed that although canonical features (such as F0 for questions) were important, less obvious features could compensate if canonical features were removed. Finally, in each task, integrating the prosodic model with a DA-specific statistical language model improved performance over that of the language model alone, especially for the case of recognized words. Results suggest that DAs are redundantly marked in natural conversation, and that a variety of automatically extractable prosodic features could aid dialog processing in speech applications.

研究の動機と目的

• 自然な会話における対話行動の自動分類に、プロソディック特徴が寄与するかどうかを調査すること。
• 対話行動分類タスクにおいて、語彙レベルの情報と比較してプロソディーが果たす貢献度を評価すること。
• 対話行動分類において、F0などの標準的特徴（例：質問のためのF0）が欠落した場合に、プロソディック特徴がそれらを補完できるかどうかを特定すること。
• DA固有の統計的言語モデルとプロソディックモデルを統合した場合の分類性能への影響を評価すること。
• DAに配慮した言語モデルを用いた自動音声認識の改善に、プロソディーを活用する可能性を検討すること。

提案手法

• 本研究では、Switchboardコーパスの1,000件を超える会話が使用され、対話行動はSWBD-DAMSLタグセットを用いて手動でアノテートされた。
• 各対話行動に対して、基本周波数（F0）、期間、一時停止、エネルギー、話速といったプロソディック特徴が自動的に抽出された。
• 決定木は、プロソディック特徴のみ、および語情報（正解の発話文または自動音声認識装置の出力）と組み合わせて訓練された。
• 性能評価は、全体の対話行動分類および3つのサブタスクで実施され、言語モデルベースラインと比較された。
• プロソディックモデルをDA固有の統計的言語モデルと統合し、統合による性能向上を評価した。
• 特徴の重要度と冗長性は、標準的特徴を削除し、性能変化を観察することで分析された。

実験結果

リサーチクエスチョン

• RQ1 プロソディック特徴は、語彙レベルの情報を超えて、自然な会話における対話行動の自動分類を改善できるか？
• RQ2 どのプロソディック特徴が特定の対話行動タイプに対して最も予測的であり、F0のような標準的特徴（例：質問のためのF0）と比較してどう異なるか？
• RQ3 標準的特徴が利用できない場合、非標準的プロソディック特徴がどれほど補完的役割を果たせるか？
• RQ4 DA固有の言語モデルとプロソディックモデルを統合することで、分類正確性が向上するか、特に自動認識された語を用いた場合に顕著か？
• RQ5 言語モデルの制約としてプロソディーを用いることで、自動音声認識における単語誤り率はどの程度低減されるか？

主な発見

• プロソディーは、すべてのタスクで対話行動分類性能を顕著に向上させた。特に言語モデルと組み合わせた場合に、最も大きな向上が観察された。
• DA固有の統計的言語モデルとプロソディック意思決定木を統合することで、言語モデル単体よりも性能が向上した。特に自動音声認識装置から得られた語を用いた場合に顕著であった。
• F0のような標準的特徴が削除されても、期間やエネルギーといった他のプロソディック特徴が補完的役割を果たすことができた。これは、対話行動がプロソディック特徴で冗長にマークされていることを示している。
• No-Answersでは語誤り率が18%低下し、Backchannelsでは7%低下したが、SwitchboardコーパスにおいてStatementが支配的であるため、全体の語誤り率はわずか0.9%低下にとどまった。
• 本研究では、自然な会話において対話行動が複数のプロソディック特徴によって冗長にマークされていることが明らかになった。
• 結果から、プロソディーは対話行動分類および発話理解システムにおいて、信頼性が高く補完的な情報源であると考えられる。