[论文解读] Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder

Yu-An Chung, Chao-Chung Wu+3 more|arXiv (Cornell University)|Mar 3, 2016

Music and Audio Processing参考文献 31被引用 29

一句话总结

本文提出 Audio Word2Vec，一种无监督方法，通过使用双向LSTM的序列到序列自编码器，学习可变长度音频片段的固定维度向量表示。该方法在准确率和效率上均优于传统的基于DTW的示例查询语音词检测，去噪变体进一步提升了鲁棒性和性能。

ABSTRACT

The vector representations of fixed dimensionality for words (in text) offered by Word2Vec have been shown to be very useful in many application scenarios, in particular due to the semantic information they carry. This paper proposes a parallel version, the Audio Word2Vec. It offers the vector representations of fixed dimensionality for variable-length audio segments. These vector representations are shown to describe the sequential phonetic structures of the audio segments to a good degree, with very attractive real world applications such as query-by-example Spoken Term Detection (STD). In this STD application, the proposed approach significantly outperformed the conventional Dynamic Time Warping (DTW) based approaches at significantly lower computation requirements. We propose unsupervised learning of Audio Word2Vec from audio data without human annotation using Sequence-to-sequence Audoencoder (SA). SA consists of two RNNs equipped with Long Short-Term Memory (LSTM) units: the first RNN (encoder) maps the input audio sequence into a vector representation of fixed dimensionality, and the second RNN (decoder) maps the representation back to the input audio sequence. The two RNNs are jointly trained by minimizing the reconstruction error. Denoising Sequence-to-sequence Autoencoder (DSA) is furthered proposed offering more robust learning.

研究动机与目标

• 在无人工标注的情况下，学习可变长度音频片段的固定维度向量表示。
• 通过无监督表示学习捕捉音频中的序列化语音结构。
• 提升示例查询语音词检测（STD）的效率与准确率。
• 探索自监督音频嵌入在语音领域中与NLP中Word2Vec的可比性。
• 通过去噪扩展方法评估所学习表示的鲁棒性与泛化能力。

提出的方法

• 使用包含两个双向LSTM网络的序列到序列自编码器（SA）：编码器将输入音频序列映射为固定维度的潜在向量，解码器则从潜在代码重建原始序列。
• 通过最小化原始音频序列与重建音频序列之间的重构误差，端到端训练SA模型。
• 通过在训练过程中对输入序列进行扰动，应用去噪序列到序列自编码器（DSA），以提升模型的鲁棒性与泛化能力。
• 以MFCC特征作为模型输入，编码器为每个音频片段生成d维向量表示。
• 在示例查询语音词检测中，利用学习到的向量表示之间的余弦相似度实现高效检索。
• 在检索任务中，将学习到的表示与手工设计的基线方法（如Naïve Encoder）及DTW进行比较。

实验结果

研究问题

• RQ1 无监督学习的音频片段嵌入能否捕捉语音中的有意义语音与序列结构？
• RQ2 所学习的向量表示与DTW等传统方法及手工特征平均相比，在语音词检测中的表现如何？
• RQ3 去噪变体（DSA）是否提升了所学习表示的鲁棒性与性能？
• RQ4 向量表示在多大程度上支持类比推理，例如音素替换？
• RQ5 与DTW相比，该方法是否能在显著降低计算成本的前提下实现高检索准确率？

主要发现

• 在示例查询语音词检测的平均平均精度（MAP）上，DSA变体优于SA及所有Naïve Encoder基线（NE52、NE78、NE104）。
• 在约390个训练周期后，DSA的MAP超过所有基线；而SA则在约450个周期后才超越基线。
• 所学习的向量表示支持类比推理：当音素变化一致时（如首音素或末音素变化），词表示之间的差值向量相似，表明模型成功捕捉了语义与语音结构。
• 该模型在计算成本远低于DTW的前提下，实现了显著更优的检索性能，因为仅需进行向量到向量的相似度计算。
• 向量表示能有效描述序列化语音结构，表现为仅相差一个音素的词语其表示在向量空间中位置相近。
• 无监督方法无需人工标注，因此适用于低资源语音应用。