[论文解读] Deep Triplet Neural Networks with Cluster-CCA for Audio-Visual Cross-modal Retrieval

Donghuo Zeng, Yi Yu+1 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Image and Video Retrieval Techniques参考文献 65被引用 4

一句话总结

该论文提出了一种结合聚类CCA（TNN-C-CCA）的深度三元组神经网络，用于音频-视觉跨模态检索，通过将三元组损失与聚类CCA相结合，学习具有区分性的联合嵌入表示，以在最大化音频与视频模态之间相关性的同时，区分正样本对与负样本对。该方法在两个数据集上均优于六种基于CCA的方法以及四种最先进（SOTA）的跨模态检索方法，在音频到视觉检索任务中取得74.66%的MAP，在视觉到音频检索任务中取得73.77%的MAP，使用10个相关分量。

ABSTRACT

Cross-modal retrieval aims to retrieve data in one modality by a query in another modality, which has been a very interesting research issue in the field of multimedia, information retrieval, and computer vision, and database. Most existing works focus on cross-modal retrieval between text-image, text-video, and lyrics-audio.Little research addresses cross-modal retrieval between audio and video due to limited audio-video paired datasets and semantic information. The main challenge of audio-visual cross-modal retrieval task focuses on learning joint embeddings from a shared subspace for computing the similarity across different modalities, where generating new representations is to maximize the correlation between audio and visual modalities space. In this work, we propose a novel deep triplet neural network with cluster canonical correlation analysis(TNN-C-CCA), which is an end-to-end supervised learning architecture with audio branch and video branch.We not only consider the matching pairs in the common space but also compute the mismatching pairs when maximizing the correlation. In particular, two significant contributions are made: i) a better representation by constructing deep triplet neural network with triplet loss for optimal projections can be generated to maximize correlation in the shared subspace. ii) positive examples and negative examples are used in the learning stage to improve the capability of embedding learning between audio and video. Our experiment is run over 5-fold cross-validation, where average performance is applied to demonstrate the performance of audio-video cross-modal retrieval. The experimental results achieved on two different audio-visual datasets show the proposed learning architecture with two branches outperforms existing six CCA-based methods and four state-of-the-art based cross-modal retrieval methods.

研究动机与目标

• 解决由于配对数据集有限及语义信息不足，导致音频-视觉跨模态检索研究不足的问题。
• 学习在共享子空间中最大化音频与视觉模态之间相关性的联合嵌入表示。
• 通过三元组损失同时利用正样本对与负样本对，提升表示学习能力。
• 不仅保留同一类别内样本之间的语义信息，而不仅限于成对匹配。
• 开发一种端到端的监督架构，优于现有的基于CCA及跨模态检索方法。

提出的方法

• 提出一种深度三元组神经网络（TNN），结合三元组损失，通过优化正样本对之间的相似性与负样本对之间的差异性，学习具有区分性的嵌入表示。
• 集成聚类CCA（C-CCA），通过强制所有跨模态数据对之间的一一对应关系，并在共享子空间中最大化相关性，学习联合表示。
• 采用双分支架构，分别处理音频与视频分支，每个分支使用预训练的深度卷积神经网络（CNN）进行特征提取。
• 应用基于边距的三元组损失函数，确保正样本对之间的距离比负样本对之间的距离至少小一个边距。
• 在共享投影空间中，将音频与视觉特征映射到该空间，以最大化典型相关性，其维度由相关分量的数量控制。
• 通过五折交叉验证并调整边距与批量大小等超参数，以优化性能。

实验结果

研究问题

• RQ1 通过联合建模成对与非成对语义关系，结合三元组网络与聚类CCA，能否提升音频-视觉跨模态检索性能？
• RQ2 与标准CCA或DCCA相比，三元组损失中引入负样本对如何影响所学习嵌入表示的判别能力？
• RQ3 在音频-视觉检索任务中，聚类CCA的最优相关分量数量是多少？其对性能有何影响？
• RQ4 边距与批量大小等超参数如何影响模型的MAP性能？
• RQ5 所提出的TNN-C-CCA架构能否在真实世界音频-视觉数据集上优于现有的基于CCA及最先进（SOTA）的跨模态检索方法？

主要发现

• 当使用10个相关分量时，所提出的TNN-C-CCA模型在音频到视觉检索任务中取得74.66%的平均平均精度（MAP），在视觉到音频检索任务中取得73.77%的MAP。
• 该模型在两个不同的音频-视觉数据集上，均优于六种基于CCA的方法以及四种最先进（SOTA）的跨模态检索方法。
• 在批量大小为400、边距为0.5时达到最优性能；当批量大小超过800后，性能显著下降，归因于过拟合或训练不稳定。
• 相关分量的数量对性能有显著影响，10个分量时MAP最高；当达到50个分量时，性能急剧下降。
• 当批量大小为30（共700个批次）时，训练时间缩短至3小时，相比300个批次的32小时，性能保持较高水平。
• 消融实验表明，结合正样本对与负样本对的三元组损失显著提升了嵌入质量，优于仅依赖成对相关性的模型。