[论文解读] IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining

Chihaya Matsuhira, Marc A. Kastner+5 more|arXiv (Cornell University)|Mar 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出IPA-CLIP，一种视觉-语言预训练模型，通过基于国际音标（IPA）的音素嵌入引入语音先验，以改善对发音相似性的理解，尤其针对非词（nonwords）。通过蒸馏一个冻结的CLIP文本编码器，该模型学习到一个发音编码器，从而提升多模态检索性能，并更符合人类对语音相似性的感知。

ABSTRACT

Recently, large-scale Vision and Language (V\&L) pretraining has become the standard backbone of many multimedia systems. While it has shown remarkable performance even in unseen situations, it often performs in ways not intuitive to humans. Particularly, they usually do not consider the pronunciation of the input, which humans would utilize to understand language, especially when it comes to unknown words. Thus, this paper inserts phonetic prior into Contrastive Language-Image Pretraining (CLIP), one of the V\&L pretrained models, to make it consider the pronunciation similarity among its pronunciation inputs. To achieve this, we first propose a phoneme embedding that utilizes the phoneme relationships provided by the International Phonetic Alphabet (IPA) chart as a phonetic prior. Next, by distilling the frozen CLIP text encoder, we train a pronunciation encoder employing the IPA-based embedding. The proposed model named IPA-CLIP comprises this pronunciation encoder and the original CLIP encoders (image and text). Quantitative evaluation reveals that the phoneme distribution on the embedding space represents phonetic relationships more accurately when using the proposed phoneme embedding. Furthermore, in some multimodal retrieval tasks, we confirm that the proposed pronunciation encoder enhances the performance of the text encoder and that the pronunciation encoder handles nonsense words in a more phonetic manner than the text encoder. Finally, qualitative evaluation verifies the correlation between the pronunciation encoder and human perception regarding pronunciation similarity.

研究动机与目标

• 解决视觉-语言模型在考虑发音相似性方面存在的局限性，特别是针对非词或未知术语。
• 通过利用国际音标（IPA）表来建模音素关系，将语音先验整合到CLIP中。
• 开发一个发音编码器，以提升多模态检索性能，并在处理非词方面比标准文本型CLIP更具鲁棒性。
• 评估所学习的发音嵌入空间是否与人类对语音相似性的感知相关。

提出的方法

• 提出一种基于IPA的音素嵌入，将IPA表中的语音关系编码到连续向量空间中。
• 通过知识蒸馏从一个冻结的CLIP文本编码器训练发音编码器，以基于IPA的嵌入作为输入。
• 在保持原始图像和文本编码器冻结的前提下，将新发音编码器扩展到CLIP中。
• 使用图像-文本对进行对比预训练，使发音编码器的输出与CLIP的共享嵌入空间对齐。
• 在多模态检索和人类对语音相似性的感知方面评估发音编码器的性能。
• 应用等级相关性度量，评估嵌入空间与人类评分的发音相似性之间的匹配程度。

实验结果

研究问题

• RQ1 在视觉-语言预训练设置中，基于IPA的音素嵌入是否比标准文本嵌入更能准确表示语音关系？
• RQ2 将发音编码器整合到CLIP中是否能提升多模态检索任务的性能，特别是在处理非词时？
• RQ3 所学习的发音嵌入空间与人类对发音相似性的感知相关性如何？
• RQ4 与标准CLIP相比，该方法是否在处理非词方面表现出更强的鲁棒性？
• RQ5 该方法在处理音节短、语音歧义高的词汇时存在哪些局限性？

主要发现

• 基于IPA的音素嵌入在嵌入空间中更好地体现了语音关系，表现为与IPA表的语音结构对齐更优。
• 在多模态检索中，IPA-CLIP的表现优于标准CLIP，尤其在涉及非词时，显示出更强的鲁棒性。
• 对于单词“Sit”，发音编码器与人类感知的等级相关性达到0.642，显著优于CLIP的0.353。
• 对于“Wonder”，该方法达到0.640的等级相关性，表明与人类对发音相似性的感知高度一致。
• 对于短词如“Sit”，所提出模型的冻结版本性能较低，表明其对短音节中的语音歧义较为敏感。
• 总体而言，所有基于发音的方法在人类感知相关性方面均优于基于文本的CLIP基线，验证了语音先验的有效性。