[论文解读] Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation

G. Tur, Dilek Hakkani‐Tür+2 more|arXiv (Cornell University)|May 31, 2001

Speech and dialogue systems参考文献 27被引用 25

一句话总结

本文提出一种基于隐马尔可夫模型（HMMs）与决策树的生成式概率模型，融合韵律特征与词汇线索，实现自动语音主题分割。通过整合语音识别中提取的自动韵律特征（如停顿时长、基频重置）与基于词汇的语言模型，该方法在广播新闻语料库上实现了14%的错误率，表明仅使用韵律线索即可与基于词汇的方法相媲美，且融合策略显著降低了分割错误。

ABSTRACT

We present a probabilistic model that uses both prosodic and lexical cues for the automatic segmentation of speech into topically coherent units. We propose two methods for combining lexical and prosodic information using hidden Markov models and decision trees. Lexical information is obtained from a speech recognizer, and prosodic features are extracted automatically from speech waveforms. We evaluate our approach on the Broadcast News corpus, using the DARPA-TDT evaluation metrics. Results show that the prosodic model alone is competitive with word-based segmentation methods. Furthermore, we achieve a significant reduction in error by combining the prosodic and word-based knowledge sources.

研究动机与目标

• 解决基于词汇的主题分割在语音中所面临的局限性，即对语音识别错误敏感且缺乏标点符号线索。
• 探索停顿时长、基频重置等韵律线索作为自发语音中主题边界的鲁棒非词汇性指示信号。
• 开发一种统一框架，利用概率模型融合词汇与韵律信息，以提升分割准确性。
• 评估韵律与词汇线索在减少误报与漏报方面的互补性。
• 证明仅使用韵律模型即可实现与基于词汇方法相媲美的性能，且融合策略可显著降低错误率。

提出的方法

• 从自动语音识别（ASR）输出中提取词汇信息，利用嵌入在隐马尔可夫模型（HMMs）中的语言模型检测主题边界。
• 通过声学对齐与信号处理，从语音波形中自动提取韵律特征，包括停顿时长、基频重置与能量变化。
• 采用决策树框架建模韵律线索，基于对齐语音段的特征预测主题转换。
• 评估两种融合策略：在HMM框架内融合特征，以及合并独立HMM与决策树模型的预测结果。
• 应用与源相关的主题切换惩罚与后验概率阈值，以提升模型在不同广播新闻源上的泛化能力。
• 使用DARPA-TDT2评估指标，在广播新闻语料库上训练与评估模型，强制对齐用于参数优化。

实验结果

研究问题

• RQ1 在自发语音中，仅使用韵律线索是否可实现与基于词汇的方法相媲美的主题分割性能？
• RQ2 韵律与词汇线索如何互补以降低分割错误？
• RQ3 融合韵律与词汇信息对整体分割准确率有何影响？
• RQ4 停顿时长与基频重置等韵律特征在多大程度上与广播新闻中的主题边界相关？
• RQ5 基于源的建模（如节目格式、说话人）如何影响联合模型的性能？

主要发现

• 仅使用韵律模型在广播新闻语料库上实现了约14%的分割错误率，表明其性能可与基于词汇的方法相媲美。
• 通过联合HMM模型融合韵律与词汇线索，相比单一来源，错误率显著降低。
• 两种模型犯了互补性错误：韵律线索正确识别了词汇模型遗漏的边界，反之亦然，如图8所示。
• 采用与源相关的主题切换惩罚与后验概率阈值提升了模型性能，表明源特定自适应具有重要价值。
• 尽管训练时使用强制对齐（而非ASR输出），但识别词上的结果与真实词上的结果非常接近，表明该近似方法导致的性能损失极小。
• 本研究证实，韵律特征对词身份错误具有鲁棒性，可作为语音话语结构检测的宝贵非词汇性信号。