[论文解读] Disjoint Mapping Network for Cross-modal Matching of Voices and Faces

Yandong Wen, Mahmoud Al Ismail+3 more|arXiv (Cornell University)|Jul 12, 2018

Face recognition and analysis被引用 15

一句话总结

本文提出了一种名为Disjoint Mapping Network（DIMNet）的新框架，用于跨模态语音-人脸匹配，通过将每种模态分别映射到共同协变量（如身份、性别、国籍）来学习共享表征，而非直接建模语音与人脸之间的关系。DIMNet在检索任务中取得了最先进性能，在1:N匹配任务中，性别检索的mAP达到98.5%，身份检索的mAP为4.07%，表明显式建模共享协变量可提高匹配准确率，同时减少对直接模态配对的依赖。

ABSTRACT

We propose a novel framework, called Disjoint Mapping Network (DIMNet), for cross-modal biometric matching, in particular of voices and faces. Different from the existing methods, DIMNet does not explicitly learn the joint relationship between the modalities. Instead, DIMNet learns a shared representation for different modalities by mapping them individually to their common covariates. These shared representations can then be used to find the correspondences between the modalities. We show empirically that DIMNet is able to achieve better performance than other current methods, with the additional benefits of being conceptually simpler and less data-intensive.

研究动机与目标

• 解决在不依赖模态间直接监督的情况下实现跨模态语音与人脸匹配的挑战。
• 探究通过建模每种模态对共同协变量的依赖关系，而非其直接相互依赖关系，是否能更有效地学习共享表征。
• 通过在训练过程中避免显式构建样本对，减少对数据的依赖并提升泛化能力。
• 解耦身份、性别和国籍等协变量对语音-人脸关联的影响。
• 在保持概念简洁性和可解释性的前提下，实现在语音-人脸检索任务中的最先进性能。

提出的方法

• DIMNet采用独立的、模态特异的特征提取器处理语音和人脸数据，将输入映射到共享嵌入空间。
• 该框架使用一个共享的、与输入模态无关的分类器，从学习到的嵌入中预测协变量（如身份、性别、国籍）。
• 监督信号通过分别应用于语音和人脸样本的协变量标签提供，而非依赖成对的语音-人脸数据。
• 模型通过多任务分类进行训练，以最大化从共享嵌入中预测协变量的准确性。
• 最终的嵌入通过余弦相似度用于跨模态检索，实现1:N匹配，且无需预先构建样本对。
• 该架构通过标准反向传播端到端训练，损失函数为协变量预测头的交叉熵损失。

实验结果

研究问题

• RQ1 是否可以在不显式建模语音与人脸之间直接对应关系的情况下，有效学习语音与人脸的共享表征？
• RQ2 身份、性别和国籍等共同协变量在多大程度上解释了现有语音-人脸匹配方法的性能表现？
• RQ3 通过分别将模态映射到协变量来学习嵌入，是否优于直接联合学习语音-人脸关联？
• RQ4 当使用不同协变量组合（如仅身份、仅性别，或多个协变量组合）进行训练时，模型性能如何变化？
• RQ5 该模型是否能在数据需求更少、可解释性更强的前提下，实现最先进性能？

主要发现

• 当以性别作为协变量进行训练时，DIMNet在性别检索任务中实现了98.5%的mAP，表明其在该协变量上表现强劲。
• 在1:N匹配任务中，DIMNet-IG（身份与性别）取得最佳整体检索性能，身份检索的mAP为4.07%。
• 随着1:N匹配中N值的增加，性能显著下降，表明当前嵌入空间尚不足以实现高精度匹配。
• 使用MDS进行可视化显示，同一说话人语音与人脸嵌入仅呈现微弱的邻近关系，且与其它说话人的嵌入存在显著重叠。
• 即使性别未被用作训练协变量，模型仍能学习到有意义的全局结构（如性别分离），表明其隐式捕捉了数据的潜在结构。
• 在所有设置中，国籍的预测性能均较差，mAP值低于50%，表明当前数据或嵌入空间中其判别能力有限。