[论文解读] Autosegmental Neural Nets: Should Phones and Tones be Synchronous or Asynchronous?

Jialu Li, Mark Hasegawa‐Johnson|arXiv (Cornell University)|Jul 28, 2020

EEG and Brain-Computer Interfaces参考文献 31被引用 5

一句话总结

本文评估了在基于 CTC 的多语言和跨语言端到端自动语音识别中，语音和声调的同步与异步建模方法。研究发现，联合语音-声调建模可降低联合错误率，而单独的声调层级则能获得更低的声调错误率，尤其是在共享跨语言声调表示的多语言设置中。

ABSTRACT

Phones, the segmental units of the International Phonetic Alphabet (IPA), are used for lexical distinctions in most human languages; Tones, the suprasegmental units of the IPA, are used in perhaps 70%. Many previous studies have explored cross-lingual adaptation of automatic speech recognition (ASR) phone models, but few have explored the multilingual and cross-lingual transfer of synchronization between phones and tones. In this paper, we test four Connectionist Temporal Classification (CTC)-based acoustic models, differing in the degree of synchrony they impose between phones and tones. Models are trained and tested multilingually in three languages, then adapted and tested cross-lingually in a fourth. Both synchronous and asynchronous models are effective in both multilingual and cross-lingual settings. Synchronous models achieve lower error rate in the joint phone+tone tier, but asynchronous training results in lower tone error rate.

研究动机与目标

• 探究在多语言和跨语言端到端自动语音识别中，语音和声调是否应采用同步或异步建模方式。
• 评估不同基于 CTC 的声学模型架构在跨语言联合语音与声调识别中的有效性。
• 确定跨语言共享声调表示是否能提升低资源环境下的性能。
• 分析声调层级设计（尤其是声调目标标准化）对多语言和跨语言 ASR 性能的影响。
• 比较四种不同模型配置在单语言、多语言和跨语言迁移设置下的性能表现。

提出的方法

• 训练了四个基于 CTC 的端到端 ASR 模型：一个采用联合语音-声调输出层级，一个采用独立的语音与声调层级，一个采用三个层级（语音、声调、联合），一个在所有语言中对声调目标进行标准化。
• 所有模型均使用共享的语言无关编码器（bLSTM×3 + 全连接层），后接语言特定的 Softmax 层。
• CTC 损失按每个输出层级独立应用，空白符号通过标准 CTC 对齐过程处理。
• 多语言训练在三种语言（普通话、粤语、越南语）上进行，跨语言迁移在老挝语上通过极少数据进行测试。
• 通过音素序列的编辑距离计算错误率，分别统计辅音、元音、音素和声调的指标。
• 额外实验评估了基频（F0）输入对识别性能的影响，尤其关注其在元音和声调识别中的作用。

实验结果

研究问题

• RQ1 与异步建模相比，使用联合输出层级进行语音与声调的同步建模是否能降低多语言和跨语言 ASR 的整体错误率？
• RQ2 在多语言设置中，是否能通过为语音和声调设置独立输出层级，实现比联合建模更低的声调错误率？
• RQ3 在低资源环境下，对所有语言标准化声调目标是否能提升跨语言迁移性能？
• RQ4 在多语言和跨语言设置中，引入 F0 特征如何影响辅音、元音、音素和声调识别的准确率？
• RQ5 在不同模型架构下，联合语音-声调识别与独立声调识别之间是否存在性能权衡？

主要发现

• 通过联合语音-声调输出层级实现的同步建模（模型 1）在多语言和跨语言设置中均实现了最低的联合错误率（JER）。
• 采用独立声调层级的异步建模（模型 2）在多语言设置中产生了最低的声调错误率（TER），但在单语言或跨语言设置中并非如此。
• 模型 4 将所有语言的声调目标标准化为六个符号，其在多语言设置中实现了最低的 TER，优于使用更大声调字母表的模型。
• 在跨语言迁移中，模型 1 在老挝语上实现了最低的 JER，表明即使在极少适应数据下，联合建模依然有效。
• 当使用 F0 特征时，辅音和元音错误率在联合输出层级（模型 1）下始终最低，尤其在包含 F0 的情况下表现更优。
• 声调识别准确率最高时采用独立声调层级（老挝语中为模型 2，多语言中为模型 4），表明尽管联合错误率较高，但独立声调建模能提升 TER。