[論文レビュー] Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation

G. Tur, Dilek Hakkani‐Tür+2 more|arXiv (Cornell University)|May 31, 2001

Speech and dialogue systems参考文献 27被引用数 25

ひとこと要約

この論文では、隠れマルコフモデル（HMM）と意思決定木を用いて、自動音声認識から抽出されたプロソディック特徴（例：沈黙時間、ピッチリセット）と語彙的言語モデルを統合する確率的モデルを提示する。この手法により、放送ニュースコーパスにおいて14%の誤り率を達成し、プロソディック特徴のみでも語彙的手法と同等の性能を示し、統合によって誤り率が顕著に低減することを示している。

ABSTRACT

We present a probabilistic model that uses both prosodic and lexical cues for the automatic segmentation of speech into topically coherent units. We propose two methods for combining lexical and prosodic information using hidden Markov models and decision trees. Lexical information is obtained from a speech recognizer, and prosodic features are extracted automatically from speech waveforms. We evaluate our approach on the Broadcast News corpus, using the DARPA-TDT evaluation metrics. Results show that the prosodic model alone is competitive with word-based segmentation methods. Furthermore, we achieve a significant reduction in error by combining the prosodic and word-based knowledge sources.

研究の動機と目的

• 語彙的アプローチにおける音声認識誤りに敏感で、書記的印がないという制限を克服するため。
• 即興的会話におけるトピック境界を示す強固な非語彙的指標として、沈黙時間やピッチリセットなどのプロソディック特徴を検討するため。
• 語彙的およびプロソディック情報を確率的モデルを用いて統合する統一フレームワークを構築し、分節化精度を向上させるため。
• プロソディック特徴と語彙的特徴が誤検出と見逃しをどのように補完するかを評価するため。
• プロソディックモデルのみでも語彙的手法と同等の性能を達成できること、および統合によって顕著な誤り率低減が得られることを示すため。

提案手法

• 語彙的情報は、隠れマルコフモデル（HMM）に埋め込まれた言語モデルを用いて、自動音声認識（ASR）出力から抽出する。これによりトピック境界を検出する。
• プロソディック特徴（沈黙時間、ピッチリセット、エネルギー変化など）は、音声波形から音声同期と信号処理を用いて自動抽出する。
• 意思決定木フレームワークを用いてプロソディック特徴をモデル化し、同期された音声セグメントから得られる特徴を用いてトピック遷移を予測する。
• 2つの統合戦略を評価する：HMMフレームワーク内で特徴を統合する方法と、別個のHMMおよび意思決定木モデルの予測を統合する方法。
• モデルの汎化性能を向上させるために、ソース依存のトピック切り替えペナルティと事後確率のしきい値を適用する。
• DARPA-TDT2の評価指標を用いて、放送ニュースコーパス上でモデルを学習および評価する。パrameter最適化には強制同期（forced alignment）を用いる。

実験結果

リサーチクエスチョン

• RQ1 即興的会話において、プロソディック特徴のみで語彙的手法と同等のトピック分節化性能を達成できるか？
• RQ2 プロソディック特徴と語彙的特徴は、誤り率低減のためにどのように補完し合うか？
• RQ3 プロソディック的および語彙的情報を統合することで、全体の分節化精度にどのような影響を与えるか？
• RQ4 沈黙時間やピッチリセットなどのプロソディック特徴が、放送ニュースにおけるトピック境界とどの程度相関しているか？
• RQ5 放送番組の形式や発話者に依存するモデル化（例：ソース固有のモデリング）は、統合モデルの性能にどの程度影響を与えるか？

主な発見

• プロソディックモデルのみでも、放送ニュースコーパスで約14%の分節誤り率を達成し、語彙的手法と同等の性能を示した。
• HMMフレームワーク内で語彙的およびプロソディック特徴を統合したことで、単独で使用した場合と比較して誤り率が顕著に低減した。
• 2つのモデルは補完的な誤りを犯していた：プロソディック特徴は語彙的モデルが見逃した境界を正しく検出しており、逆に語彙的モデルはプロソディック特徴が見逃した境界を正しく検出していた。図8に示す。
• ソース依存のトピック切り替えペナルティと事後確率のしきい値の使用により、モデル性能が向上した。これは、ソース固有の適応の価値を示している。
• ASR出力ではなく強制同期を用いて学習したにもかかわらず、認識語の結果と真の語の結果との差は非常に小さく、この近似による性能損失は最小限に抑えられた。
• 本研究は、プロソディック特徴が語の意味の誤りに対して頑健であり、会話構造の検出に価値ある非語彙的信号を提供することを確認した。