[论文解读] Cross-Domain Object Matching with Model Selection

Makoto Yamada, Masashi Sugiyama|arXiv (Cornell University)|Dec 7, 2010

Advanced Image and Video Retrieval Techniques参考文献 22被引用 31

一句话总结

该论文提出了两种新颖的跨域对象匹配（CDOM）方法——KS-NOCCO 和最小二乘对象匹配（LSOM），以解决基于核函数的依赖度量中的模型选择问题。LSOM 通过交叉验证使用最小二乘互信息，实现了核参数的数据驱动调优，在图像匹配、语音转换和照片相册摘要任务中优于现有方法。

ABSTRACT

The goal of cross-domain object matching (CDOM) is to find correspondence between two sets of objects in different domains in an unsupervised way. Photo album summarization is a typical application of CDOM, where photos are automatically aligned into a designed frame expressed in the Cartesian coordinate system. CDOM is usually formulated as finding a mapping from objects in one domain (photos) to objects in the other domain (frame) so that the pairwise dependency is maximized. A state-of-the-art CDOM method employs a kernel-based dependency measure, but it has a drawback that the kernel parameter needs to be determined manually. In this paper, we propose alternative CDOM methods that can naturally address the model selection problem. Through experiments on image matching, unpaired voice conversion, and photo album summarization tasks, the effectiveness of the proposed methods is demonstrated.

研究动机与目标

• 解决使用基于核函数的依赖度量进行跨域对象匹配（CDOM）时手动调节核参数的挑战。
• 克服现有方法（如 KS-MI 和 KS-HSIC）依赖启发式或次优核参数选择的局限性。
• 开发一种 CDOM 方法，通过交叉验证实现客观、数据驱动的模型选择。
• 在图像匹配、无配对语音转换和照片相册摘要等多样化任务中，证明所提方法的有效性。
• 确立 LSOM 作为一种鲁棒、稳定且实用的 CDOM 方法，对超参数敏感度极低。

提出的方法

• 提出 KS-NOCCO，一种使用归一化交叉协方差算子（NOCCO）作为基于核函数的依赖度量的 CDOM 方法，其渐近独立于核函数选择。
• 引入最小二乘对象匹配（LSOM），采用最小二乘互信息（LSMI）作为平方损失互信息的一致估计器。
• 通过 LSMI 准则的交叉验证，客观优化调优参数，包括高斯核带宽和正则化参数。
• 使用置换矩阵 $\bm{\Pi}$ 表示对象集 $\{\bm{x}_i\}$ 和 $\{\bm{y}_i\}$ 之间的映射，目标是最大化依赖度量 $D(Z(\bm{\Pi}))$。
• 采用基于高斯核的公式化方法 $K(\bm{x}, \bm{x}') = \exp(-\|\bm{x} - \bm{x}'\|^2 / (2\tau^2))$，并引入正则化以确保数值稳定性。
• 通过将图像转换为高维向量（如 RGB 图像为 4800D，灰度图为 256D）并将其对齐为 2D 网格框架，将该方法应用于实际任务。

实验结果

研究问题

• RQ1 能否开发一种 CDOM 方法，减少对核参数选择的敏感性，且不依赖启发式方法？
• RQ2 在有限样本设置下，基于归一化交叉协方差算子（NOCCO）的依赖度量是否比 HSIC 提供更鲁棒的性能？
• RQ3 交叉验证能否有效应用于 CDOM，以数据驱动方式优化多个调优参数？
• RQ4 LSOM 在图像匹配和语音转换等多样化任务中，与 KS-HSIC 和 KS-NOCCO 相比性能如何？
• RQ5 LSOM 是否能通过在空间布局中将视觉上相似的图像分组，在照片相册摘要中实现更优的对齐质量？

主要发现

• 在无配对语音转换任务中，LSOM 平均在 100 次运行中实现了更低的对数谱距离，优于 KS-HSIC 和 KS-NOCCO。
• 在照片相册摘要任务中，LSOM 有效将图像对齐至矩形和复杂形状的框架（如“山峰”、“笑脸”、“777”），使视觉上相似的图像在空间上聚集。
• 对于 320 张调整为 40×40×3 的 Flickr 图像，LSOM 生成了连贯的布局，使颜色相似的图像聚类在一起，如图 6(a) 所示。
• 对于来自 Frey 数据集的 225 张人脸图像，LSOM 根据面部表情和朝向对齐图像，形成了图 6(b) 所示的连贯笑脸形状布局。
• 在数字识别任务中，LSOM 依据轮廓相似性将 320 张数字 '7' 的图像分组，形成了图 6(c) 所示的清晰 '777' 形状。
• LSOM 中使用交叉验证实现了核带宽和正则化参数的自动、客观调优，消除了手动参数选择的需要。