[论文解读] Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces

Yu-An Chung, Wei‐Hung Weng+2 more|arXiv (Cornell University)|May 18, 2018

Speech Recognition and Synthesis参考文献 18被引用 48

一句话总结

本文提出一个无监督框架，用于对齐语音和文本嵌入空间，使得在没有跨模态监督的情况下实现口语单词分类和翻译，性能接近有监督方法。

ABSTRACT

Recent research has shown that word embedding spaces learned from text corpora of different languages can be aligned without any parallel data supervision. Inspired by the success in unsupervised cross-lingual word embeddings, in this paper we target learning a cross-modal alignment between the embedding spaces of speech and text learned from corpora of their respective modalities in an unsupervised fashion. The proposed framework learns the individual speech and text embedding spaces, and attempts to align the two spaces via adversarial training, followed by a refinement procedure. We show how our framework could be used to perform spoken word classification and translation, and the results on these two tasks demonstrate that the performance of our unsupervised alignment approach is comparable to its supervised counterpart. Our framework is especially useful for developing automatic speech recognition (ASR) and speech-to-text translation systems for low- or zero-resource languages, which have little parallel audio-text data for training modern supervised ASR and speech-to-text translation models, but account for the majority of the languages spoken across the world.

研究动机与目标

• 直接从语音和文本学习语义表征，而不需要跨模态监督。
• 证明两种模态特定的嵌入空间可以通过对抗训练与细化来对齐。
• 使用所学习的跨模态对齐来演示口语单词分类和翻译。
• 评估在多个语料库中，无监督对齐与有监督方法的对比。

提出的方法

• 分别使用 Speech2Vec 和 Word2Vec 学习语音和文本的嵌入空间。
• 应用领域对抗训练以学习两个空间之间的初始线性映射 W。
• 通过互为最近邻和跨域相似性局部尺度构建合成双语词典来细化映射。
• 优化 W，使其最小化类似重建的目标，在无跨模态数据的情况下对齐两个空间。
• 通过使用最相近文本匹配的口语单词分类和翻译任务来评估对齐。

实验结果

研究问题

• RQ1 是否可以在完全不使用跨模态监督的情况下，利用对抗训练对齐语音和文本嵌入空间？
• RQ2 使用合成字典的细化步骤是否比初始对抗映射改善跨模态对齐？
• RQ3 在不同语料库中，与有监督基线相比，无监督跨模态对齐在口语单词分类和翻译上的表现如何？

主要发现

• 该无监督对齐方法相对于使用平行词典的有监督对比在结果上具有竞争力（A 与 A*）。
• 将 Speech2Vec 用于无监督分割和聚类导致的性能逐渐低于词汇完美分割，强调分割质量至关重要。
• 随着监督程度下降，对齐性能下降，但在英语、法语和德语数据集及跨语言设置中仍然可用。
• 单词同义词检索表明模型捕捉到超出确切单词身份的语义关系，表明鲁棒的语义对齐。
• 同语料嵌入比跨语料嵌入对齐效果更好，表明更高的结构相似性有助于映射。