[论文解读] Finding phonemes: improving machine lip-reading

Helen L. Bear, Richard Harvey+1 more|arXiv (Cornell University)|Oct 3, 2017

Speech and Audio Processing参考文献 7被引用 5

一句话总结

本文提出一种说话人相关的、数据驱动的方法，通过基于音素识别混淆矩阵对音素聚类，推导出机器唇读中的最优可视音素单元。使用LiLIR数据集和基于HMM的分类方法，结果表明：与传统可视音素集相比，音素级分类器在词识别性能上通常表现更优；介于音素与可视音素之间的中间单元能取得最佳效果，挑战了传统观点中认为可视音素为最优的假设。

ABSTRACT

In machine lip-reading there is continued debate and research around the correct classes to be used for recognition. In this paper we use a structured approach for devising speaker-dependent viseme classes, which enables the creation of a set of phoneme-to-viseme maps where each has a different quantity of visemes ranging from two to 45. Viseme classes are based upon the mapping of articulated phonemes, which have been confused during phoneme recognition, into viseme groups. Using these maps, with the LiLIR dataset, we show the effect of changing the viseme map size in speaker-dependent machine lip-reading, measured by word recognition correctness and so demonstrate that word recognition with phoneme classifiers is not just possible, but often better than word recognition with viseme classifiers. Furthermore, there are intermediate units between visemes and phonemes which are better still.

研究动机与目标

• 探究基于可视音素的分类是否在纯视觉语音识别中为最优，或介于音素与可视音素之间的中间单元是否能带来更好的性能。
• 开发一种系统化、说话人相关的自定义可视音素映射生成方法，基于音素混淆数据，实现不同可视音素集大小的可控比较。
• 评估在不同数量的视觉单元（从2个到45个可视音素）下的词识别准确率，以确定每个说话人最优的可视音素类数量与结构。
• 通过定量比较音素级与可视音素级分类器的性能，挑战传统假设中认为可视音素是唇读中最优中间表示的观点。

提出的方法

• 该方法首先使用10折交叉验证和基于HTK的HMM对每个说话人进行音素识别，从每个说话人200个语句中生成混淆矩阵。
• 对混淆矩阵进行列归一化，以获得条件概率 Pr{p_i | p̂_j}，表示真实音素 p_i 被误分类为 p̂_j 的可能性。
• 采用贪心聚类算法，将混淆度最高的两个音素（即 q = Pr{p_r|p̂_s} + Pr{p_s|p̂_r} 最大）合并为新的可视音素类别，重复此过程直至仅剩两个类别。
• 元音与辅音分别聚类，以保留发音部位的区分，确保可视音素组在语音学上具有一致性。
• 从45个可视音素逐步聚类至2个可视音素的每个中间聚类步骤，均生成一个新的可视音素映射，并用于重新训练基于HMM的词识别模型。
• 性能通过词识别正确率衡量，并对训练数据方差进行归一化，以比较不同可视音素集大小的影响。

实验结果

研究问题

• RQ1 在唇读中使用音素级分类是否优于传统的基于可视音素的分类？
• RQ2 是否存在一个介于音素与可视音素之间的最优视觉单元数量，能够最大化词识别准确率？
• RQ3 传统的可视音素集（如Lee集、Jeffers集）是否为单个说话人提供了最佳配置？
• RQ4 当可视音素集大小变化时，同音词数量和每个单元的训练数据不足如何影响识别性能？
• RQ5 基于混淆矩阵生成的说话人特定可视音素映射是否能优于固定、跨说话人的可视音素定义？

主要发现

• 在LiLIR数据集的全部12名说话人中，使用音素级分类器的词识别性能显著优于可视音素级分类器。
• 每个说话人最优的视觉单元数量介于8个与音素总数之间，且与传统可视音素集（如10–20个可视音素）无一致对应关系。
• 性能曲线呈非单调性：当可视音素数量低于10个时，由于同音词增加，正确率急剧下降；在高可视音素数量时，也因数据稀疏性和视觉区分度低而下降。
• 在12名说话人中有3名，其最佳性能的可视音素集大小落在10–20范围内，但该结果未显著优于随机猜测，表明不存在普遍适用的最优大小。
• 表现最佳的可视音素映射具有说话人特异性，不同说话人之间无一致模式，表明跨说话人的可视音素集很可能并非最优。
• 本研究识别出特定的可视音素类别合并（如SP01中/s/与/r/的合并）能显著提升识别效果，证实最优可视音素分组高度个体化。