[论文解读] Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets

María Andrea Cruz Blandón, Okko Räsänen|arXiv (Cornell University)|Jul 8, 2020

Speech Recognition and Synthesis参考文献 19被引用 10

一句话总结

本研究评估了自回归预测编码（APC）与对比预测编码（CPC）在法语和中文小规模、低资源语音数据集上学习音素表征的性能。尽管APC的损失与音素区分性能之间存在强烈相关性，CPC在快速收敛下仍取得了更优的ABX分数，甚至在训练仅一个周期后即超越APC，表明CPC在早期表征学习中具有更高的效率，尽管其损失与性能之间的对齐性较弱。

ABSTRACT

Neural network models using predictive coding are interesting from the viewpoint of computational modelling of human language acquisition, where the objective is to understand how linguistic units could be learned from speech without any labels. Even though several promising predictive coding -based learning algorithms have been proposed in the literature, it is currently unclear how well they generalise to different languages and training dataset sizes. In addition, despite that such models have shown to be effective phonemic feature learners, it is unclear whether minimisation of the predictive loss functions of these models also leads to optimal phoneme-like representations. The present study investigates the behaviour of two predictive coding models, Autoregressive Predictive Coding and Contrastive Predictive Coding, in a phoneme discrimination task (ABX task) for two languages with different dataset sizes. Our experiments show a strong correlation between the autoregressive loss and the phoneme discrimination scores with the two datasets. However, to our surprise, the CPC model shows rapid convergence already after one pass over the training data, and, on average, its representations outperform those of APC on both languages.

研究动机与目标

• 评估预测编码模型在低资源设置下，跨语言和不同数据集规模的泛化能力。
• 探究在小数据集上，模型损失函数与音素区分性能之间的关系。
• 评估训练数据量对APC与CPC模型表征质量的影响。
• 确定预测编码模型是否能在无语言监督的情况下学习到有效的音素类表征。

提出的方法

• 在2.5至25小时的法语和中文语音数据上训练APC与CPC模型，仅使用原始音频作为输入。
• 采用ABX任务评估音素区分性能，通过测量在说话人之间与说话人内部的最小对区分准确率。
• 在多个训练周期中追踪验证损失与ABX分数，以评估收敛性与泛化能力。
• 应用早停法与超参数调优以优化模型选择，尤其针对APC模型。
• 在CPC中使用InfoNCE损失，以最大化上下文表示与未来表示之间的互信息。
• 在两种模型中均采用非线性编码器与自回归上下文建模，以生成用于预测的潜在表征。

实验结果

研究问题

• RQ1 在不同数据集中，预测编码模型的损失与音素区分性能之间是否存在一致关系？
• RQ2 数据集大小与语言对APC与CPC在学习音素表征方面的性能有何影响？
• RQ3 最小化APC与CPC的预测损失是否能带来最优的音素类表征？
• RQ4 在小样本数据环境下，APC与CPC模型多快能收敛到有效的音素敏感表征？

主要发现

• 在法语与中文数据集上，APC的验证损失与ABX分数之间存在强烈相关性（r ≈ 0.97）。
• CPC在仅训练一个周期后即达到最佳ABX分数，在两种语言及两种ABX指标上均优于APC。
• APC在更多数据下表现出稳定的性能提升，但即使仅使用法语数据集的25%（6.3小时）也已实现收敛，表明超参数调优可能比单纯扩大数据量更有效。
• CPC的验证损失与ABX性能无相关性，表明该模型中损失最小化无法可靠预测音素表征质量。
• 尽管收敛迅速，CPC在预测损失上持续改善，但音素区分性能未再提升，表明损失与任务性能之间存在脱节。
• 在大多数情况下，两种预测编码模型的ABX分数均优于基于MFCC的基线，其中CPC取得最低ABX分数（中文为9.185，说话人内），并超越MFCC基线。