[论文解读] Corpus Phonetics Tutorial

Eleanor Chodroff|arXiv (Cornell University)|Nov 13, 2018

Second Language Acquisition and Learning被引用 6

一句话总结

本教程为语料音系学研究者介绍了关键的计算工具——Kaldi、FAVE-align、蒙特利尔强制对齐工具（Montreal Forced Aligner）、宾夕法尼亚强制对齐工具（legacy）和AutoVOT——用于自动化语音分析，特别是强制对齐和嗓音起始时间（VOT）测量。该教程利用自动语音识别（ASR）技术，实现高效、可扩展的语音数据处理，显著减少人工标注时间，同时通过统计声学模型和音系对齐算法保持高精度。

ABSTRACT

Corpus phonetics has become an increasingly popular method of research in linguistic analysis. With advances in speech technology and computational power, large scale processing of speech data has become a viable technique. This tutorial introduces the speech scientist and engineer to various automatic speech processing tools. These include acoustic model creation and forced alignment using the Kaldi Automatic Speech Recognition Toolkit (Povey et al., 2011), forced alignment using FAVE-align (Rosenfelder et al., 2014), the Montreal Forced Aligner (McAuliffe et al., 2017), and the Penn Phonetics Lab Forced Aligner (Yuan & Liberman, 2008), as well as stop consonant burst alignment using AutoVOT (Keshet et al., 2014). The tutorial provides a general overview of each program, step-by-step instructions for running the program, as well as several tips and tricks.

研究动机与目标

• 为语音科学领域非工程背景的研究者提供易于理解的、分步指导，以使用先进的语音处理工具。
• 通过实现大规模、自动化的语音语料处理，减少对小规模、人工语音分析的依赖。
• 展示如何将自动语音识别（ASR）工具适配于语音研究，特别是强制对齐和VOT测量。
• 提供使用基于Unix的工具和Praat脚本进行数据处理与验证的实用、可复现的工作流程。
• 通过使基于ASR的工具对非程序员可及，弥合语言学研究与计算音系学之间的鸿沟。

提出的方法

• 使用Kaldi（一个开源ASR工具包）训练特定语言的声学模型，并利用音素级声学表示执行强制对齐。
• 应用FAVE-align和蒙特利尔强制对齐工具，通过预训练或自定义声学模型，将拼写转录与音频信号对齐。
• 使用宾夕法尼亚强制对齐工具（legacy）进行音系边界对齐，支持词典自定义和批量处理。
• 利用AutoVOT自动检测词首塞音中的嗓音起始时间（VOT），通过识别语音信号中的爆发点和元音起始点。
• 结合Praat脚本进行后处理，包括层级重命名、边界叠加以及自动与人工标注之间的比较。
• 将多个工具整合为一个工作流：自动对齐 → VOT检测 → 人工校正 → 定量测量，确保可复现性与验证性。

实验结果

研究问题

• RQ1 研究人员如何在无需大量编程经验的情况下，自动化大规模语音语料中语音边界对齐？
• RQ2 与人工标注相比，使用AutoVOT进行自动VOT测量的准确性和可靠性如何？
• RQ3 在语音研究中，不同强制对齐工具（Kaldi、FAVE-align、蒙特利尔强制对齐工具）在性能和易用性方面如何比较？
• RQ4 基于ASR的工具在多大程度上可被适配以建模非母语或地区性语音变体在语音分析中的应用？
• RQ5 结合自动对齐与人工校正的最有效工作流程是什么，以确保语料音系学研究中的数据质量？

主要发现

• 本教程使研究人员能够使用Kaldi对自定义语音语料执行强制对齐，通过特定语言的声学模型实现高精度。
• AutoVOT在极少用户输入下成功识别塞音中的VOT边界，某些情况下将人工测量时间减少高达80%。
• Praat脚本的整合实现了系统化的后处理，包括层级合并以及自动与人工标注之间的比较。
• 蒙特利尔强制对齐工具和FAVE-align提供了强大且灵活的对齐解决方案，配置需求极少，适用于多样化的语音研究需求。
• 结合自动对齐与人工校正的工作流显著提升了数据质量，同时保持了可扩展性。
• 本教程表明，非工程师研究者可通过开源工具和脚本实现专业级别的语音分析，减少对专有软件的依赖。