[论文解读] DS++: A flexible, scalable and provably tight relaxation for matching problems

Nadav Dym, Haggai Maron+1 more|arXiv (Cornell University)|May 17, 2017

Advanced Image and Video Retrieval Techniques参考文献 16被引用 10

一句话总结

DS++ 为排列上的二次匹配问题提出了一种新颖的凸二次规划松弛方法，结合谱方法与双随机（DS）松弛，形成一种可证明更紧致、可扩展的方法。其在保持 O(n²) 复杂度的同时，相比 DS 和谱松弛方法实现了更优的精度，并采用基于同伦的投影方法恢复整数排列，优于标准投影技术。

ABSTRACT

Correspondence problems are often modelled as quadratic optimization problems over permutations. Common scalable methods for approximating solutions of these NP-hard problems are the spectral relaxation for non-convex energies and the doubly stochastic (DS) relaxation for convex energies. Lately, it has been demonstrated that semidefinite programming relaxations can have considerably improved accuracy at the price of a much higher computational cost. We present a convex quadratic programming relaxation which is provably stronger than both DS and spectral relaxations, with the same scalability as the DS relaxation. The derivation of the relaxation also naturally suggests a projection method for achieving meaningful integer solutions which improves upon the standard closest-permutation projection. Our method can be easily extended to optimization over doubly stochastic matrices, partial or injective matching, and problems with additional linear constraints. We employ recent advances in optimization of linear-assignment type problems to achieve an efficient algorithm for solving the convex relaxation. We present experiments indicating that our method is more accurate than local minimization or competing relaxations for non-convex problems. We successfully apply our algorithm to shape matching and to the problem of ordering images in a grid, obtaining results which compare favorably with state of the art methods. We believe our results indicate that our method should be considered the method of choice for quadratic optimization over permutations.

研究动机与目标

• 解决 NP 难的二次匹配问题中精度与可扩展性之间的权衡。
• 开发一种凸松弛方法，其可证明强于谱方法与双随机（DS）松弛方法。
• 实现对具有附加约束（如部分匹配或单射匹配）的非凸与凸匹配问题的高效求解。
• 设计一种鲁棒的投影方法，从松弛解中恢复整数排列，优于标准欧氏投影。
• 在形状匹配与图像排布任务中实现最先进性能，同时保持具有竞争力的运行时间。

提出的方法

• 将 DS++ 定义为谱方法与 DS 松弛的交集，形成具有 O(n²) 个变量与约束的更紧致凸二次规划。
• 利用改进的谱分析增强松弛，得到可证明强于 DS 与谱方法的公式。
• 采用同伦型投影方法，连续地将能量从凸变形为凹，确保收敛至可行排列。
• 集成近期线性分配求解器的进展，高效求解 DS++ 松弛，实现可扩展性。
• 将框架扩展至处理附加约束，如线性项、部分匹配，以及在双随机矩阵上的优化。
• 利用高效矩阵-向量乘积（O(n³)）处理结构化矩阵（如 GW 或 log-GW 能量），进一步加速计算。

实验结果

研究问题

• RQ1 能否构造一种松弛方法，其可证明强于谱方法与 DS 松弛，同时不牺牲可扩展性？
• RQ2 所提出的 DS++ 松弛在紧致性与精度方面与现有松弛方法（包括 SDP 方法）相比如何？
• RQ3 基于同伦的投影方法是否能在从凸松弛中恢复整数解方面优于标准欧氏投影？
• RQ4 DS++ 在处理非凸能量、线性约束以及部分/单射匹配方面可扩展到何种程度？
• RQ5 当矩阵-向量乘积被优化时，DS++ 在大规模匹配问题上的计算效率如何？

主要发现

• DS++ 可证明强于谱方法与 DS 松弛，且在理论上等价于两者的交集。
• 当 n = k = 100 时，DS++ 在 26 秒内求解；当 n = 160, k = 150 时，耗时约 2 分钟，展现出强大的可扩展性。
• 通过高效矩阵-向量乘积（如 GW 能量），DS++ 在 n = 1000, k = 1000 的情况下约 6 分钟内求解，表明其在大规模实例上具有极高效率。
• 基于同伦的投影方法在恢复准确整数解方面始终优于标准最近排列投影。
• 在 FAUST 数据集上的形状匹配中，DS++ 尽管存在拓扑噪声，仍成功恢复了非刚性对应关系，优于最先进方法。
• 在基于深度特征的图像排布任务中，DS++ 能够将相似图像聚类在一起，并准确恢复 2D 光照场，如定性结果所示。