[论文解读] Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval

Youssef Mroueh, Etienne Marcheret+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 32被引用 3

一句话总结

该论文提出了一种非对称加权CCA（AW-CCA），通过使用非对称主成分权重缩放将搜索项映射到查询空间，从而提升双向图像与文本检索性能；结合计算高效的T-SVD引导Tikhonov交叉验证进行正则化，以及一种新颖的分层核句子嵌入（HKSE）以实现更优的句子表示。该方法仅使用现成特征（off-the-shelf features）在MSCOCO和Flickr基准上实现了最先进性能。

ABSTRACT

Joint modeling of language and vision has been drawing increasing interest. A multimodal data representation allowing for bidirectional retrieval of images by sentences and vice versa is a key aspect. In this paper we present three contributions in canonical correlation analysis (CCA) based multimodal retrieval. Firstly, we show that an asymmetric weighting of the canonical weights, while achieving a cross view mapping from the search to the query space, improves the retrieval performance. Secondly, we devise a computationally efficient model selection, crucial to generalization and stability, in the framework of the Bj\"ork Golub algorithm for regularized CCA via spectral filtering. Finally, we introduce a Hierarchical Kernel Sentence Embedding (HKSE) that approximates Kernel CCA for a special similarity kernel between distribution of words embedded in a vector space. State of the art results are obtained on MSCOCO and Flickr benchmarks when these three techniques are used in conjunction.

研究动机与目标

• 通过重新思考CCA中跨视图映射的方向，提升双向图像与文本检索性能。
• 通过在正则化CCA中采用高效正则化与模型选择策略，提升模型泛化能力与数值稳定性。
• 开发一种更有效的句子嵌入方法，使其具备更强泛化能力，并在多模态检索中超越平均word2vec方法。
• 仅使用现成的图像与文本特征，在标准基准上实现最先进检索性能。

提出的方法

• AW-CCA通过使用主成分相关性对主成分相关权重进行非对称加权，将搜索空间项映射到查询空间，从而提升检索性能。
• 正则化CCA通过Björk-Golub算法实现谱滤波，包含两类正则化族：Tikhonov正则化与截断SVD（T-SVD）。
• 提出一种混合交叉验证策略，利用T-SVD正则化的快速计算特性，指导Tikhonov正则化路径选择，实现高效且稳定的模型选择。
• 分层核句子嵌入（HKSE）通过分层核方法聚合词嵌入（如word2vec），在向量空间中建模词分布相似性，优于简单平均方法。
• 最终系统结合AW-CCA与HKSE，并使用余弦相似度进行跨模态匹配，实现端到端的双向检索。
• 通过验证集进行模型选择，方法在MSCOCO与Flickr基准上使用标准指标（r@1, r@5, r@10, 中位数排名）进行评估。

实验结果

研究问题

• RQ1 通过非对称加权CCA权重将搜索项映射到查询空间，是否能提升双向检索性能？
• RQ2 能否在计算高效交叉验证策略下，有效利用T-SVD正则化于CCA中的模型选择？
• RQ3 基于分层核的句子嵌入方法是否能在多模态检索任务中超越平均word2vec？
• RQ4 AW-CCA、HKSE与高效正则化的结合是否能在标准图像-文本检索基准上实现最先进性能？

主要发现

• 与标准CCA及跨视图映射方法相比，采用非对称加权的AW-CCA显著提升了图像搜索与图像字幕检索性能。
• 所提出的T-SVD引导Tikhonov交叉验证方法实现了快速且稳定的模型选择，以极低计算开销提升了泛化能力。
• HKSE作为句子嵌入方法优于平均word2vec，能更有效地聚合词级别表示。
• 在包含1K张测试图像的MSCOCO基准上，最优配置（AW-G-Tikh-CCA + ResNet + [HKSE (lin,rbf)||HKSE(rbf,rbf)]）分别实现了39.68% r@1与55.16% r@1的图像搜索与图像标注检索性能。
• 在Flickr 30K基准上，相同配置分别实现了31.48% r@1与43.83% r@1的图像搜索与图像标注检索性能。
• 该方法在MSCOCO与Flickr基准上均实现了最先进结果，且无需微调特征，仅使用现成的图像与文本嵌入。