[论文解读] Cross-Lingual Machine Speech Chain for Javanese, Sundanese, Balinese, and Bataks Speech Recognition and Synthesis

Sashi Novitasari, Andros Tjandra+2 more|arXiv (Cornell University)|Nov 4, 2020

Natural Language Processing Techniques参考文献 2被引用 12

一句话总结

本文提出了一种跨语言自动语音链框架，仅使用单语印尼语ASR/TTS作为基础，即可实现对低资源印度尼西亚民族语言——爪哇语、巽他语、巴厘语和巴塔克语的端到端自动语音识别（ASR）与文本到语音（TTS）功能。通过在ASR与TTS之间建立无需目标语言配对语音-文本数据的半监督反馈循环，该方法在极少监督下实现了有效模型训练，显著推进了濒危语言的语音技术发展。

ABSTRACT

Even though over seven hundred ethnic languages are spoken in Indonesia, the available technology remains limited that could support communication within indigenous communities as well as with people outside the villages. As a result, indigenous communities still face isolation due to cultural barriers; languages continue to disappear. To accelerate communication, speech-to-speech translation (S2ST) technology is one approach that can overcome language barriers. However, S2ST systems require machine translation (MT), speech recognition (ASR), and synthesis (TTS) that rely heavily on supervised training and a broad set of language resources that can be difficult to collect from ethnic communities. Recently, a machine speech chain mechanism was proposed to enable ASR and TTS to assist each other in semi-supervised learning. The framework was initially implemented only for monolingual languages. In this study, we focus on developing speech recognition and synthesis for these Indonesian ethnic languages: Javanese, Sundanese, Balinese, and Bataks. We first separately train ASR and TTS of standard Indonesian in supervised training. We then develop ASR and TTS of ethnic languages by utilizing Indonesian ASR and TTS in a cross-lingual machine speech chain framework with only text or only speech data removing the need for paired speech-text data of those ethnic languages.

研究动机与目标

• 解决由于标注语音-文本数据有限，导致濒危印度尼西亚民族语言缺乏语音技术的严峻问题。
• 克服为爪哇语、巽他语、巴厘语和巴塔克语等低资源语言训练所需大规模配对语音与文本数据的障碍。
• 开发一种跨语言自动语音链，仅使用单语数据即可实现ASR与TTS组件之间的相互半监督学习。
• 通过支持语音到语音翻译，保护并促进印度尼西亚的语言多样性，服务于资源匮乏的民族语言。

提出的方法

• 利用可用的配对语音-文本数据，通过监督学习预训练标准印尼语的ASR与TTS模型。
• 通过跨语言迁移学习框架，将预训练的印尼语ASR与TTS模型适配到目标民族语言。
• 实施一个具有闭环反馈机制的自动语音链，使ASR（听）与TTS（说）组件在无监督状态下相互迭代优化。
• 仅使用目标语言的纯文本或纯语音数据，无需昂贵的配对语音-转录数据。
• 采用端到端训练，并使用直通估计器反向传播梯度通过反馈循环中的离散语音标记。
• 利用印尼语与各民族语言之间共享的语言结构与语音相似性，提升零样本迁移性能。

实验结果

研究问题

• RQ1 跨语言自动语音链框架是否能在无配对语音-文本数据的情况下，有效训练低资源印度尼西亚民族语言的ASR与TTS？
• RQ2 ASR与TTS在半监督循环中的相互反馈如何提升目标语言的模型性能？
• RQ3 单语印尼语ASR与TTS模型在零样本或少样本适应至民族语言方面，其作为强先验的潜力有多大？
• RQ4 仅使用文本或仅使用语音数据对爪哇语、巽他语、巴厘语和巴塔克语的最终ASR与TTS性能有何影响？

主要发现

• 跨语言自动语音链框架成功实现了仅使用单语印尼语数据且无需目标语言配对语音-文本数据，即在爪哇语、巽他语、巴厘语和巴塔克语上实现ASR与TTS。
• ASR与TTS之间的反馈回路通过半监督学习显著提升了模型性能，即使监督信号有限。
• 尽管缺乏配对训练数据，该方法在目标语言上仍实现了具有竞争力的词错误率（WER）与自然度评分。
• 该方法展示了从印尼语到民族语言的强大零样本迁移能力，验证了跨语言迁移的有效性。
• 该框架降低了对昂贵数据采集的依赖，使濒危语言在资源极少的情况下也能实现语音技术开发。
• 结果表明，使用统一语音链处理多语言、低资源语音处理在代表性不足的语言社区中具有可行性。