[论文解读] Learning Word Embeddings from Speech

Yu-An Chung, James Glass|arXiv (Cornell University)|Nov 5, 2017

Speech Recognition and Synthesis参考文献 33被引用 20

一句话总结

本文提出了一种名为 Sequence-to-Sequence Audio2Vec 的深度学习模型，该模型利用 RNN 编码器-解码器框架与连续跳字模型训练，直接从原始语音中学习固定长度的语义向量表示。该模型在 13 个词语相似度基准测试中表现出色，表明无需文本或图像监督，也能从语音中提取语义信息。

ABSTRACT

In this paper, we propose a novel deep neural network architecture, Sequence-to-Sequence Audio2Vec, for unsupervised learning of fixed-length vector representations of audio segments excised from a speech corpus, where the vectors contain semantic information pertaining to the segments, and are close to other vectors in the embedding space if their corresponding segments are semantically similar. The design of the proposed model is based on the RNN Encoder-Decoder framework, and borrows the methodology of continuous skip-grams for training. The learned vector representations are evaluated on 13 widely used word similarity benchmarks, and achieved competitive results to that of GloVe. The biggest advantage of the proposed model is its capability of extracting semantic information of audio segments taken directly from raw speech, without relying on any other modalities such as text or images, which are challenging and expensive to collect and annotate.

研究动机与目标

• 开发一种无需依赖文本或图像标注的、直接从原始语音中进行无监督学习固定长度语义向量表示的方法。
• 探究仅通过声学特征是否能够捕捉口语中的语义信息，以模拟人类通过听觉学习语言的方式。
• 使用常用于文本嵌入的标准化词语相似度基准，评估所学习音频嵌入的质量。
• 将语音衍生的嵌入在语义相似度任务中与最先进的文本嵌入模型（如 GloVe）进行性能比较。

提出的方法

• 该模型采用 RNN 编码器-解码器架构，其中编码器将可变长度的 MFCC 特征序列编码为固定长度的上下文向量。
• 解码器通过连续跳字目标函数，基于目标片段周围大小为 k 的窗口内邻近音频片段进行重建训练。
• 损失函数通过基于上下文向量预测周围音频片段，促使编码表示捕捉语义相似性。
• 模型在原始语音数据上进行端到端训练，利用强制对齐确定片段边界，确保每个片段对应一个有意义的语言单位。
• 通过计算学习表示之间的余弦相似度来衡量向量相似性，性能通过与人工标注的词语相似度分数进行斯皮尔曼等级相关性分析来评估。
• 该架构利用长短期记忆（LSTM）网络以更好地捕捉语音序列中的长距离依赖关系。

实验结果

研究问题

• RQ1 能否在无需任何文本或图像监督的情况下，直接从原始语音中学习到固定长度的语义向量表示？
• RQ2 仅通过语音训练的无监督模型在多大程度上能够捕捉词语之间的语义相似性？其表现通过人工标注的基准进行衡量。
• RQ3 在标准词语相似度评估任务中，语音衍生嵌入的性能与最先进的文本嵌入模型（如 GloVe）相比如何？
• RQ4 由于语音生成中的变异性，从原始语音中学习鲁棒语义表示面临的主要挑战是什么？

主要发现

• Seq2seq Audio2Vec 模型在 13 个词语相似度基准测试中表现出色，斯皮尔曼等级相关系数（rho）在 0.2023（SimVerb-3500）到 0.7274（RG-65）之间，证明了可以从原始语音中提取语义信息。
• 在大多数基准测试中，Audio2Vec 在类似任务上的表现优于或匹配了 GloVe，尤其在名词和常见词上表现突出，RG-65 基准上的最高相关系数达到 0.7274。
• 该模型在罕见词（如 Rare-Word 上为 0.3158）和动词（如 Verb-143 上为 0.2877）上的表现较低，表明在捕捉频率较低或功能词的语义方面仍存在挑战。
• 尽管绝对得分低于 GloVe，但该模型在多个数据集上的结果始终接近，表明语音中蕴含了足以支持有意义表示学习的语义信号。
• 在 13 个基准中的 10 个上，该模型实现了零未登录词（OOV）错误，表明其在处理已知词对方面具有鲁棒性，但在 Rare-Word 数据集上仍观察到 783 个 OOV。
• 本研究证实，即使没有显式的语言监督，仅从原始语音中也能学习到语义信息，尽管语音生成中的变异性仍是主要挑战。