[论文解读] A constrained clustering based approach for matching a collection of feature sets

Junchi Yan, Zhe Ren+2 more|arXiv (Cornell University)|Jun 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 3被引用 3

一句话总结

本文提出一种基于约束聚类的方法，仅使用一元节点特征对多个特征集进行匹配，通过迭代地将特征分配给其他集合形成的聚类并更新中心来实现。通过协同利用跨集合一致性与全局信息，该方法在噪声和异常值条件下实现了最先进性能。

ABSTRACT

In this paper, we consider the problem of finding the feature correspondences among a collection of feature sets, by using their point-wise unary features. This is a fundamental problem in computer vision and pattern recognition, which also closely relates to other areas such as operational research. Different from two-set matching which can be transformed to a quadratic assignment programming task that is known NP-hard, inclusion of merely unary attributes leads to a linear assignment problem for matching two feature sets. This problem has been well studied and there are effective polynomial global optimum solvers such as the Hungarian method. However, it becomes ill-posed when the unary attributes are (heavily) corrupted. The global optimal correspondence concerning the best score defined by the attribute affinity/cost between the two sets can be distinct to the ground truth correspondence since the score function is biased by noises. To combat this issue, we devise a method for matching a collection of feature sets by synergetically exploring the information across the sets. In general, our method can be perceived from a (constrained) clustering perspective: in each iteration, it assigns the features of one set to the clusters formed by the rest of feature sets, and updates the cluster centers in turn. Results on both synthetic data and real images suggest the efficacy of our method against state-of-the-arts.

研究动机与目标

• 解决当一元特征受噪声污染时，标准成对方法性能下降的匹配多个特征集的挑战。
• 克服成对线性分配方法（如匈牙利算法）无法利用多个集合间全局一致性的局限性。
• 通过联合探索所有集合的信息，设计一种在所有特征集之间强制对应一致性的方法。
• 设计一种迭代聚类框架，交替地将特征分配给聚类并更新聚类中心，以提高匹配精度。

提出的方法

• 将多集合特征匹配问题建模为约束聚类任务，其中来自一个集合的特征被分配给其余集合形成的聚类。
• 在每次迭代中，使用基于一元特征相似度的最近邻策略，将选定集合的特征分配给由所有其他集合并集导出的聚类。
• 通过计算已分配特征的质心，迭代更新聚类中心，从而在迭代过程中优化聚类表示。
• 使用基于一致性的准则动态选择基础特征集和更新顺序，以提升对噪声或异质数据的鲁棒性。
• 提出两种变体：matchCluster（自适应选择基础集合和顺序）和matchCluster_fast（随机选择），以评估对初始化的敏感性。
• 利用一元特征匹配本质上是每对之间的线性分配问题，但通过聚类方法将其扩展到多集合，以利用全局结构。

实验结果

研究问题

• RQ1 当一元特征受污染时，能否有效利用多个特征集之间的全局信息以提升匹配精度？
• RQ2 在存在噪声和异常值的情况下，所提出的约束聚类框架与成对匈牙利方法及其他最先进多集合匹配方法相比表现如何？
• RQ3 与随机或固定顺序相比，自适应选择基础特征集和更新顺序是否能显著提升性能？
• RQ4 该方法在真实世界图像序列中，能在多大程度上保持多个特征集之间的对应一致性？

主要发现

• 在噪声和异常值逐渐增加的合成数据上，所提方法（matchCluster）优于所有基线方法，尤其在高形变和异常值率下表现更优。
• 在真实世界图像序列（CMU Hotel 和 Willow-ObjectClass）中，matchCluster 与最先进方法表现相当，甚至在某些设置下优于 matchOpt。
• 自适应版本（matchCluster）显著优于快速变体（matchCluster_fast），尤其在真实图像上，表明在异质数据中初始化质量至关重要。
• 成对应用匈牙利算法（Hung_lin）表现最差，因其缺乏跨集合信息，证实了联合全局优化的优势。
• 视觉结果表明，与成对匈牙利匹配相比，matchCluster 产生的错误对应（红色线条）更少，正确对应（绿色线条）更多。
• 该方法对噪声和异常值具有鲁棒性，准确率随干扰增加而逐渐下降，而基线方法则出现急剧下降。