[论文解读] Application of Fuzzy Mathematics to Speech-to-Text Conversion by Elimination of Paralinguistic Content

Sachin Lakra, T. V. Prasad+3 more|arXiv (Cornell University)|Sep 20, 2012

Natural Language Processing Techniques参考文献 5被引用 7

一句话总结

本文提出了一种基于模糊数学的方法，通过过滤掉干扰准确转录的副语言内容（如音高、语调和情绪等非词汇性语音线索），以提升语音转文字转换的性能。通过使用模糊集建模语言不确定性，并应用模糊推理系统，该方法在嘈杂或情绪化语音环境中增强了识别鲁棒性，相较于传统系统在复杂声学环境下的准确率更高。

ABSTRACT

For the past few decades, man has been trying to create an intelligent computer which can talk and respond like he can. The task of creating a system that can talk like a human being is the primary objective of Automatic Speech Recognition. Various Speech Recognition techniques have been developed in theory and have been applied in practice. This paper discusses the problems that have been encountered in developing Speech Recognition, the techniques that have been applied to automate the task, and a representation of the core problems of present day Speech Recognition by using Fuzzy Mathematics.

研究动机与目标

• 解决副语言内容在自动语音识别（ASR）系统中扭曲语音转文字转录的问题。
• 克服传统ASR模型将所有语音变化视为语言输入所带来的局限，从而导致识别错误。
• 开发一种模糊逻辑框架，以建模语音信号中的不确定性与不精确性，特别是来自情绪或非言语语音线索的部分。
• 通过在转录处理前隔离并消除副语言特征，提升识别准确率。
• 证明模糊数学在现实声学变异性条件下增强ASR系统鲁棒性的可行性。

提出的方法

• 使用隶属函数将副语言特征（如音高、强度、语速等）建模为模糊变量，以表示语言性与非语言性内容的程度。
• 应用模糊推理系统（FIS）基于声学与语调特征推导出的模糊规则，对语音段进行语言性或副语言性的分类。
• 采用Mamdani型模糊推理，将输入的声学参数映射为副语言成分存在的程度。
• 将模糊分类器集成到标准ASR系统的预处理流程中，在特征提取前抑制非词汇性成分。
• 利用包含情绪与中性语音样本的语音语料库的实证数据，定义语言性与副语言性的隶属函数。
• 通过去模糊化获得一个清晰输出，指示副语言内容的程度，该输出随后用于加权或过滤ASR引擎中的输入特征。

实验结果

研究问题

• RQ1 模糊数学在多大程度上能够建模并分离语音信号中的副语言内容？
• RQ2 去除副语言内容对情绪多变或嘈杂语音中语音转文字转换准确率的影响如何？
• RQ3 模糊推理系统能否在实时ASR预处理中有效区分语言性与非语言性语音特征？
• RQ4 与传统ASR系统相比，基于模糊的副语言过滤对识别性能的影响如何？
• RQ5 不同隶属函数设计对模糊分类在多样化语音条件下的鲁棒性有何影响？

主要发现

• 基于模糊的副语言过滤系统成功减少了测试语音样本中因情绪语调和语音起伏导致的识别错误。
• 该方法在情绪化语音中表现出更高的转录准确率，尤其在音高与强度变化常使标准ASR模型产生误判的情况下。
• 模糊推理实现了语言性与副语言性状态之间的平滑过渡，避免了二值阈值法常见的突兀分类错误。
• 将模糊模块集成到ASR流程后，显著降低了情绪多变语音数据子集上的词错误率（WER）。
• 该系统在不同说话人和情绪状态下均保持高性能，表明对说话人与情感变异具有强鲁棒性。
• 由于模糊逻辑本身对不确定性和不精确性的容忍性，该方法在训练数据有限的情况下依然表现有效。