[论文解读] MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems

Thilo von Neumann, Christoph Boeddeker+2 more|arXiv (Cornell University)|Jul 21, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

MeetEval 是一个开源工具包，实现了并扩展了会议转录系统中使用的词错误率（WER）度量标准，引入了时间约束的 WER（tcpWER），通过强制执行合理的时序对齐来提高匹配准确性。该工具包通过从分段级注释近似词级时间戳，实现了更准确的错误评估和更快的计算速度，其中 5 秒的邻近窗口（collar）在不同数据集上均能产生稳健且现实的 WER 分数。

ABSTRACT

MeetEval is an open-source toolkit to evaluate all kinds of meeting transcription systems. It provides a unified interface for the computation of commonly used Word Error Rates (WERs), specifically cpWER, ORC-WER and MIMO-WER along other WER definitions. We extend the cpWER computation by a temporal constraint to ensure that only words are identified as correct when the temporal alignment is plausible. This leads to a better quality of the matching of the hypothesis string to the reference string that more closely resembles the actual transcription quality, and a system is penalized if it provides poor time annotations. Since word-level timing information is often not available, we present a way to approximate exact word-level timings from segment-level timings (e.g., a sentence) and show that the approximation leads to a similar WER as a matching with exact word-level annotations. At the same time, the time constraint leads to a speedup of the matching algorithm, which outweighs the additional overhead caused by processing the time stamps.

研究动机与目标

• 提供一个统一、易用的工具包，用于计算会议转录评估中使用的多种 WER 度量标准。
• 解决现代会议转录系统（尤其是具有多流或重叠语音输出的系统）缺乏标准化、高效且可扩展的评估工具的问题。
• 通过在匹配过程中引入时间约束，提升 WER 的可靠性，惩罚时间标注不佳的系统。
• 在缺乏精确词级时间戳的情况下，通过粗粒度的分段级时间戳实现准确的 WER 计算。
• 通过时间剪枝减少匹配算法中的搜索空间，从而优化性能。

提出的方法

• 提出 tcpWER，作为 cpWER 的扩展，通过要求匹配的词落在参考时间附近用户定义的邻近窗口内，强制执行时间上的合理性。
• 提出基于词长的启发式方法，从分段级时间戳近似得到词级时间戳，使 WER 计算无需依赖高精度的词级注释。
• 采用带剪枝的动态规划算法，通过排除时序上不合理的词对来加速匹配，降低时间复杂度。
• 在参考词时间周围使用邻近窗口（如 ±5 秒）定义可接受的时间对齐范围，提升匹配的真实性。
• 支持多种输出格式（如说话人分离风格、CSS 风格、SOT 风格），并可与常见系统输出集成，确保广泛的兼容性。
• 提供统一的 API 支持 cpWER、ORC-WER、MIMO-WER 和 tcpWER，便于在不同度量间切换，并实现可复现的评估。

实验结果

研究问题

• RQ1 如何通过引入时间约束来改进 WER 度量，使其更真实地反映实际转录质量？
• RQ2 是否能从分段级注释中可靠地近似得到词级时间戳，而不会显著损失 WER 的准确性？
• RQ3 时间约束对多说话人会议转录中 WER 分数和计算效率有何影响？
• RQ4 邻近窗口大小的选择如何影响不同数据集上 WER 分数的稳健性与真实性？
• RQ5 时间剪枝是否能显著降低 WER 计算的计算成本，同时不损害匹配质量？

主要发现

• tcpWER 度量标准始终产生比 cpWER 更高的 WER 值，尤其在识别性能较差的数据集上差异更明显（例如 CHiME-6：62.4% vs. 66.6%）。
• 使用 5 秒邻近窗口可产生现实且稳健的 WER 分数，因为它在惩罚不合理的对齐与允许自然语音停顿之间取得了良好平衡。
• 从分段级注释近似词级时间戳所得到的 WER 值与使用精确词级时间戳的结果几乎完全一致，验证了该启发式方法的有效性。
• tcpWER 中的时间约束减少了搜索空间，从而实现了可测量的加速效果——随着录音时长增加，剪枝效率更高，执行时间显著降低。
• 该工具包实现了可接受的运行时性能，即使在长时录音（如长达 134 分钟）的情况下，执行时间仍保持实用水平，且随着录音长度增加，加速效果更加明显。
• 该方法有效减少了不合理的词匹配数量，尤其在长说话人静默或说话人数量较多的场景下，这些情况原本会导致 cpWER 与 tcpWER 之间的 WER 差异被显著放大。