[论文解读] Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data

Yi‐Chen Chen, Chia-Hao Shen+3 more|arXiv (Cornell University)|Oct 30, 2018

Speech Recognition and Synthesis参考文献 14被引用 14

一句话总结

本文提出了一种近乎无监督的语音识别方法，利用极少量未配对的语音和文本数据中的语音结构嵌入，通过仅200对配对的词对齐将音频嵌入映射到文本嵌入。仅使用一小时未标注语音和200个标注词对，该方法实现了27.5%的词准确率，展示了通过模仿人类婴儿早期语言学习中的语音结构对齐，为低资源语音识别提供了一条可行路径。

ABSTRACT

Producing a large amount of annotated speech data for training ASR systems remains difficult for more than 95% of languages all over the world which are low-resourced. However, we note human babies start to learn the language by the sounds of a small number of exemplar words without hearing a large amount of data. We initiate some preliminary work in this direction in this paper. Audio Word2Vec is used to obtain embeddings of spoken words which carry phonetic information extracted from the signals. An autoencoder is used to generate embeddings of text words based on the articulatory features for the phoneme sequences. Both sets of embeddings for spoken and text words describe similar phonetic structures among words in their respective latent spaces. A mapping relation from the audio embeddings to text embeddings actually gives the word-level ASR. This can be learned by aligning a small number of spoken words and the corresponding text words in the embedding spaces. In the initial experiments only 200 annotated spoken words and one hour of speech data without annotation gave a word accuracy of 27.5%, which is low but a good starting point.

研究动机与目标

• 解决为资源匮乏语言训练自动语音识别（ASR）系统时，因标注数据极少而面临的挑战，因为全球95%的语言缺乏足够的转录语音数据。
• 探究机器是否能通过极少量标注数据（接近零）学习词级ASR，受人类婴儿从少量范例词中学习方式的启发。
• 开发一种框架，从未配对的语音和文本数据中学习语音结构嵌入，并通过少量词级对齐实现映射。
• 研究解耦说话人不变的语音嵌入与说话人条件化表示是否能提升低资源环境下的对齐鲁棒性。
• 证明即使数据有限，语音结构对齐也能实现基线词级识别，为未来结合更优语言模型和架构的改进铺平道路。

提出的方法

• 使用带有说话人和语音编码器架构的Audio Word2Vec，从原始语音信号中提取解耦说话人的语音嵌入。
• 使用序列到序列自编码器与说话人投影嵌入（SPE）特征训练文本编码器，以在解耦的潜在空间中表示音素序列。
• 利用少量配对词例（N = 200）学习音频与文本嵌入空间之间的线性变换矩阵。
• 应用对比损失对齐音频与文本嵌入空间，同时保留说话人不变的语音结构。
• 使用束搜索结合一个非常弱的二元语法语言模型对识别输出进行重打分，通过固定权重融合余弦相似度与语言模型得分。
• 使用主成分分析（PCA）可视化嵌入空间，确认音频与文本空间中均存在一致的语音结构（如单数/复数、动词/动名词形式）。

实验结果

研究问题

• RQ1 能否在极少监督下，从未配对的语音和文本数据中有效学习语音结构嵌入？
• RQ2 少量词级对齐（如200对）是否足以在音频与文本嵌入空间之间建立有意义的映射，以支持词级ASR？
• RQ3 将说话人特征从语音嵌入中解耦是否能提升低资源环境下的对齐性能？
• RQ4 当与基于嵌入的检索结合时，非常弱的语言模型能在多大程度上提升识别准确率？
• RQ5 在音频与文本嵌入的潜在空间中，是否保持了稳定的语音结构（如复数化、动词变位）？

主要发现

• 仅使用200对配对词例和一小时未标注语音，经弱语言模型重打分后，模型实现了27.5%的Top-1词准确率，证明了其作为零样本ASR基线的可行性。
• 性能在N = 200对词例时达到平台期，表明当前线性变换矩阵已饱和，无法从更多训练样本中获益。
• 消融实验表明，若移除说话人解耦或改用独热编码音素代替SPE特征，性能会下降，证实了结构化语音表示的重要性。
• 通过PCA的可视化揭示了相关词（如“time”、“times”、“eye”、“eyes”）在嵌入空间中呈现一致的三角结构，证实语音关系在跨模态间得以保留。
• 弱语言模型显著提升了识别准确率（从17.2%提升至27.5%），通过纠正语音相似但语义错误的预测，凸显了语言上下文的价值。
• 模型成功捕捉了音频与文本嵌入空间中诸如单数/复数、动词/动名词形式等语音结构关系，表明其具备共享的语义-语音组织机制。