[论文解读] Kernelized Multiview Projection

Mengyang Yu, Li Liu+1 more|arXiv (Cornell University)|Aug 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 23被引用 5

一句话总结

该论文提出核化多视图投影（KMP），一种无监督谱嵌入方法，通过在再生核希尔伯特空间（RKHS）中利用核矩阵融合多种异构特征视图，实现线性样本外扩展，并学习低维、平滑且具有判别性的子空间。KMP在CMU PIE、CIFAR10和SUN397数据集上均取得最先进性能，具备快速推理能力并具有良好的抗噪性。

ABSTRACT

Conventional vision algorithms adopt a single type of feature or a simple concatenation of multiple features, which is always represented in a high-dimensional space. In this paper, we propose a novel unsupervised spectral embedding algorithm called Kernelized Multiview Projection (KMP) to better fuse and embed different feature representations. Computing the kernel matrices from different features/views, KMP can encode them with the corresponding weights to achieve a low-dimensional and semantically meaningful subspace where the distribution of each view is sufficiently smooth and discriminative. More crucially, KMP is linear for the reproducing kernel Hilbert space (RKHS) and solves the out-of-sample problem, which allows it to be competent for various practical applications. Extensive experiments on three popular image datasets demonstrate the effectiveness of our multiview embedding algorithm.

研究动机与目标

• 为解决高维空间中单视图或拼接特征表示的局限性，后者存在语义含义差和可扩展性差的问题。
• 克服非线性多视图嵌入方法中的样本外问题，从而使其适用于真实世界的大规模视觉应用。
• 学习一个低维、语义有意义的子空间，以保留多种异构特征视图的局部性和分布特性。
• 通过RKHS中的核基学习，有效融合不同类型特征（如颜色、纹理、形状）之间的互补信息。
• 开发一种在训练中高效且推理中极其快速的方法，适用于实际部署。

提出的方法

• KMP使用径向基函数（RBF）核从多个特征视图构建核矩阵，将每个视图映射到高维再生核希尔伯特空间（RKHS），以实现尺度和维度的归一化。
• 采用ℓ¹-图计算相似性矩阵，生成稀疏且对噪声鲁棒的矩阵，自动发现每个数据点的自然邻域。
• 通过最小化正则化目标函数，联合优化共享的低维嵌入空间，以保留所有视图中的局部性和平滑性。
• KMP为每个核矩阵学习视图特定的权重，实现跨视图的互补信息自适应融合，类似于多核学习（MKL）但基于投影框架。
• 最终嵌入通过低维空间中的线性投影计算，可直接应用于新测试样本（解决样本外问题）。
• 优化问题被表述为广义特征值问题，可使用标准数值方法高效求解。

实验结果

研究问题

• RQ1 多视图嵌入方法能否在保留其内在统计特性与局部性的同时，有效融合异构特征（如颜色、纹理、形状）？
• RQ2 如何使非线性多视图嵌入方法在RKHS中实现线性化，以支持高效的样本外扩展？
• RQ3 与传统图方法相比，ℓ¹-图是否能提升相似性矩阵在噪声和稀疏性方面的鲁棒性？
• RQ4 所提出的KMP方法在准确率和推理速度方面是否优于现有多视图嵌入技术（如DSE、MSE、m-SNE）？
• RQ5 正则化参数ε和图大小G等超参数如何影响KMP的性能与泛化能力？

主要发现

• 在CMU PIE数据集上，KMP在80维时达到99.7%的测试准确率，优于DSE、MSE和MKL在所有测试维度下的表现。
• 在CIFAR10数据集上，KMP在80维时达到98.6%的准确率，性能在d=80时达到峰值，并在高维设置下保持稳定。
• 在SUN397数据集上，KMP在80维时达到98.7%的准确率，展现出在多样化、复杂图像类别中的强大泛化能力。
• KMP在推理时间上具有显著优势：每样本编码/查询时间仅为0.032–0.041秒，而DSE和MSE需超过1000秒重新训练每个新样本。
• 该方法对超参数变化具有鲁棒性，随着ε和G增大，性能先上升后下降，表明存在最优泛化范围。
• 参数敏感性分析表明，更高维嵌入更受益于较大的r值（ℓ¹-图中的邻居数），证实了自适应邻域选择的必要性。