[论文解读] Learning Multi-modal Similarity

Brian McFee, Gert Lanckriet|arXiv (Cornell University)|Aug 30, 2010

Video Analysis and Summarization参考文献 45被引用 117

一句话总结

本文提出了一种多核学习框架，通过人类提供的相对比较（例如，'x 与 y 更相似，还是与 z 更相似？'）将异构多模态数据（如音频、视觉和文本特征）整合到统一的相似性空间中。通过将问题表述为带有铰链损失代理函数的凸优化任务以处理排序约束，该方法学习到一种鲁棒且支持样本外扩展的嵌入表示，最小化感知相似性测量中的不一致性，同时支持新数据的高效相似性计算。

ABSTRACT

In many applications involving multi-media data, the definition of similarity between items is integral to several key tasks, e.g., nearest-neighbor retrieval, classification, and recommendation. Data in such regimes typically exhibits multiple modalities, such as acoustic and visual content of video. Integrating such heterogeneous data to form a holistic similarity space is therefore a key challenge to be overcome in many real-world applications. We present a novel multiple kernel learning technique for integrating heterogeneous data into a single, unified similarity space. Our algorithm learns an optimal ensemble of kernel transfor- mations which conform to measurements of human perceptual similarity, as expressed by relative comparisons. To cope with the ubiquitous problems of subjectivity and inconsistency in multi- media similarity, we develop graph-based techniques to filter similarity measurements, resulting in a simplified and robust training procedure.

研究动机与目标

• 解决将异构多模态数据（例如音频、视觉、文本）整合到单一一致相似性空间中的挑战。
• 开发一种对主观性和不一致的人类感知相似性判断具有鲁棒性的学习框架。
• 支持对新出现的数据点进行样本外扩展，实现相似性计算。
• 使用相对比较约束而非二元或定量相似性标签来优化相似性嵌入。
• 支持多核学习，以实现模态特异性表示的最优融合。

提出的方法

• 使用相对比较形式化相似性学习问题：'x 与 y 更相似，还是与 z 更相似？' 作为辅助信息。
• 将学习任务建模为凸优化问题，通过最小化违反的相对比较约束的铰链损失代理函数来实现。
• 采用多核学习（MKL）组合模态特异性核函数，并通过梯度下降学习共享的马氏距离矩阵。
• 在每次优化步骤后，应用谱投影以强制学习到的核矩阵满足半正定（PSD）约束。
• 使用基于图的滤波方法在训练前对相似性测量进行预处理，以清除噪声或不一致的比较。
• 通过学习参数化嵌入实现样本外扩展，使得可使用相同度量对新数据点进行距离计算。

实验结果

研究问题

• RQ1 当单一模态无法提供一致或完整的相似性度量时，如何最优地将多模态数据整合到统一的相似性空间中？
• RQ2 相对比较（'x 与 y 更相似，还是与 z 更相似？'）是否可作为比二元或定量相似性标签更鲁棒、更一致的辅助信息形式？
• RQ3 如何使学习算法对感知相似性判断中的人工标注者间差异和不一致判断具有鲁棒性？
• RQ4 何种优化框架能够同时实现异构模态的有效融合与样本外相似性计算？
• RQ5 与基线度量学习方法相比，所提出方法在相似性检索和排序性能方面提升程度如何？

主要发现

• 所提出方法通过有效利用相对比较数据，在相似性检索和排序任务中表现出优越性能，其鲁棒性优于二元或定量相似性标签。
• 使用凸铰链损失代理函数可实现高效优化，并在给定约束下收敛至全局最优解。
• 基于图的相似性测量滤波显著提升了训练的鲁棒性，有效去除了不一致或噪声比较。
• 该方法支持样本外扩展，可在无需重新训练整个模型的情况下对新数据点进行相似性计算。
• 多核学习的公式化允许异构模态的最优融合，各模态按比例贡献于最终的相似性空间。
• 采用广义 AUC（GAUC）作为性能度量，该方法取得了较高的 GAUC 值，表明其与人类感知相似性判断具有高度一致性。