[论文解读] A simple coding for cross-domain matching with dimension reduction via spectral graph embedding

Hidetoshi Shimodaira|arXiv (Cornell University)|Dec 29, 2014

Neural Networks and Applications参考文献 21被引用 5

一句话总结

该论文提出了一种简单而有效的编码方法，通过谱图嵌入实现降维，用于跨域匹配。其中，来自多个域的数据向量通过拼接零向量进行增强，并通过线性变换投影到公共空间。该方法统一了诸如CCA、PCA和MCCA等多变量分析技术，并通过交叉验证表明，选择K=2和γ_M=0.1可最优地保留公共空间中域间相似性。

ABSTRACT

Data vectors are obtained from multiple domains. They are feature vectors of images or vector representations of words. Domains may have different numbers of data vectors with different dimensions. These data vectors from multiple domains are projected to a common space by linear transformations in order to search closely related vectors across domains. We would like to find projection matrices to minimize distances between closely related data vectors. This formulation of cross-domain matching is regarded as an extension of the spectral graph embedding to multi-domain setting, and it includes several multivariate analysis methods of statistics such as multiset canonical correlation analysis, correspondence analysis, and principal component analysis. Similar approaches are very popular recently in pattern recognition and vision. In this paper, instead of proposing a novel method, we will introduce an embarrassingly simple idea of coding the data vectors for explaining all the above mentioned approaches. A data vector is concatenated with zero vectors from all other domains to make an augmented vector. The cross-domain matching is solved by applying the single-domain version of spectral graph embedding to these augmented vectors of all the domains. An interesting connection to the classical associative memory model of neural networks is also discussed by noticing a coding for association. A cross-validation method for choosing the dimension of the common space and a regularization parameter will be discussed in an illustrative numerical example.

研究动机与目标

• 将多种多变量分析技术——如多集典型相关分析（MCCA）、对应分析和主成分分析（PCA）——统一在一个单一框架下，用于跨域匹配。
• 解决在不同维度和向量数量下跨域匹配数据向量的挑战，特别是在匹配权重稀疏或部分观测时。
• 提供一种实用且可解释的降维与公共空间投影方法，支持跨域检索与数据融合。
• 开发一种交叉验证策略，以选择公共空间的最优维度K和正则化参数γ_M，确保对未见数据对具有鲁棒的泛化能力。

提出的方法

• 通过在来自域d的每个数据向量后拼接所有其他域的零向量，为所有域创建统一的向量表示。
• 对增强后的向量应用单域谱图嵌入，将多域问题转化为标准谱嵌入任务。
• 将目标函数表述为最小化公共空间中投影向量间加权平方距离之和：φ(A) = ½ ∑∑∑∑ w_ij^de ||y_i^d - y_j^e||²。
• 引入正则化项γ_M × ∑||A^d||_F²以防止过拟合，尤其在数据稀疏或高维时有效。
• 使用块对角正则化矩阵L_M^d = α_d I_p_d 稳定优化过程，其中α_d由各域特定的数据方差计算得出。
• 通过随机重采样10%的非零匹配权重进行交叉验证，以估计泛化误差并选择最优K和γ_M。

实验结果

研究问题

• RQ1 如何构建一个统一框架，以处理具有异质维度和数据规模的多个域之间的跨域匹配？
• RQ2 所提出方法与经典多变量分析技术（如MCCA、异方差典型相关分析（CCA）和PCA）之间存在何种关系？
• RQ3 如何可靠地选择公共空间的维度K和正则化参数γ_M，以确保良好的泛化性能？
• RQ4 所提出的编码方法是否在匹配权重稀疏或部分观测时，比其他方法更好地保留域间相似性？
• RQ5 在该设置下，对重采样权重进行的交叉验证能否提供对真实泛化误差的无偏估计？

主要发现

• 该方法通过使用零增强向量的简单编码策略，成功地将MCCA、CCA和PCA统一于单一谱嵌入框架之下。
• 对重采样权重（非零条目10%）的交叉验证成功识别出K=2和γ_M=0.1为最优选择，与数值示例中的真实误差估计一致。
• 当K=2时，前两个主成分（PC1和PC2）捕捉了95%的方差，并清晰揭示了数据中潜在的5×5结构，而PC3及以后的成分几乎为噪声。
• 使用K=3或K=4导致向量间距离显著失真，表明对高阶成分的过拟合会降低检索性能。
• 在γ_M=0时，拟合误差φ_k(A, W)最小化，但此选择导致对未链接对的预测性能差；交叉验证正确识别出γ_M=0.1为最优。
• 交叉验证误差与真实误差估计非常接近，验证了该方法在选择K和γ_M时具有极小偏差，理论依据来自Shimodaira（2015）的证明。