[论文解读] Independent and automatic evaluation of acoustic-to-articulatory inversion models

Maud Parrot, Juliette Millet+1 more|arXiv (Cornell University)|Nov 15, 2019

Speech Recognition and Synthesis参考文献 21被引用 5

一句话总结

本文提出了一种独立的、自动的ABX语音区分评估方法，用于声学到发音的逆向建模，实现了无需依赖参考发音数据的鲁棒评估，可有效衡量模型的说话人无关性与泛化能力。该方法表明，ABX分数能揭示标准指标无法反映的互补性见解：尽管RMSE和PCC略有提升，但合并数据集可能降低语言相关发音信息的保留程度。

ABSTRACT

Reconstruction of articulatory trajectories from the acoustic speech signal has been proposed for improving speech recognition and text-to-speech synthesis. However, to be useful in these settings, articulatory reconstruction must be speaker independent. Furthermore, as most research focuses on single, small datasets with few speakers, robust articulatory reconstrucion could profit from combining datasets. Standard evaluation measures such as root mean square error and Pearson correlation are inappropriate for evaluating the speaker-independence of models or the usefulness of combining datasets. We present a new evaluation for articulatory reconstruction which is independent of the articulatory data set used for training: the phone discrimination ABX task. We use the ABX measure to evaluate a Bi-LSTM based model trained on 3 datasets (14 speakers), and show that it gives information complementary to the standard measures, and enables us to evaluate the effects of dataset merging, as well as the speaker independence of the model.

研究动机与目标

• 为解决声学到发音逆向建模模型缺乏说话人无关评估指标的问题。
• 克服RMSE和PCC等标准指标的局限性，这些指标会因模型未捕捉说话人特异性发音细节而对其产生惩罚。
• 开发一种不依赖参考发音轨迹和训练数据的评估方法，实现跨数据集的公平比较。
• 评估合并多个数据集对模型泛化能力及音位区分能力的影响。
• 提供一种自动化的、可扩展的评估方法，反映模型保留音位对比的能力。

提出的方法

• 采用具有300个单元的双向LSTM结构，包含一个300单元的双向层、两个300单元的前馈层，以及一个卷积低通滤波器以平滑预测轨迹。
• 使用混合损失函数，结合RMSE与PCC，并引入权重因子（β=1000）以平衡量纲差异。
• 采用汉宁窗调制的sinc滤波器作为卷积低通滤波器，以强制提升预测发音轨迹的平滑性。
• 采用基于动态时间规整（DTW）与余弦距离的ABX语音区分任务，用于序列对齐与可区分性分数计算。
• 在外部纯声学语料上评估模型，利用ABX分数衡量跨说话人的音位对比保留程度。
• 在说话人特异性与说话人无关训练设置之间，以及单语料与多语料训练配置之间进行结果对比。

实验结果

研究问题

• RQ1 所提出的ABX评估是否能有效衡量声学到发音逆向建模模型的说话人无关性？
• RQ2 合并多个数据集如何影响说话人无关模型的音位区分能力？
• RQ3 标准重建指标（RMSE、PCC）与发音逆向建模中音位可区分性之间的相关性有多高？
• RQ4 ABX评估能否检测到标准指标所忽略的语言相关发音信息的提升或退化？
• RQ5 在多个语料上进行训练是否能增强或削弱模型重建音位差异发音轨迹的能力？

主要发现

• 从说话人特异性训练切换到说话人无关训练时，ABX分数仅表现出轻微退化，表明说话人无关模型能有效保留语言相关的发音信息。
• 对于EMA–IEEE语料，说话人无关模型的ABX分数甚至优于说话人特异性训练，表明尽管重建精度下降，但泛化能力反而增强。
• 多语料训练相比单语料训练导致ABX分数略有下降（19.7 vs. 18.9），表明数据集合并可能损害音位区分能力。
• 尽管如此，RMSE与PCC指标在多语料训练下略有提升，揭示了重建精度与音位区分能力之间的脱节。
• ABX评估发现，重建指标的提升可能源于对语料特异性因素（如线圈位置、声学通道）的更好建模，而非对音位对比的泛化能力提升。
• ABX指标提供了传统指标无法捕捉的、具有互补性与实际指导意义的见解，尤其在说话人无关模型中音位信息保留方面。