[论文解读] Incorporating Domain Knowledge in Matching Problems via Harmonic Analysis

Deepti Pachauri, Maxwell D. Collins+2 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种新颖的方法，通过在对称群上进行调和分析，利用领域特定知识来加速匹配任务中二次分配问题（QAPs）的求解。通过在置换群上进行傅里叶域优化，学习修改后目标函数的参数，该方法在实际匹配问题中相比现有方法显著提升了效率和准确性。

ABSTRACT

Matching one set of objects to another is a ubiquitous task in machine learning and computer vision that often reduces to some form of the quadratic assignment problem (QAP). The QAP is known to be notoriously hard, both in theory and in practice. Here, we investigate if this difficulty can be mitigated when some additional piece of information is available: (a) that all QAP instances of interest come from the same application, and (b) the correct solution for a set of such QAP instances is given. We propose a new approach to accelerate the solution of QAPs based on learning parameters for a modified objective function from prior QAP instances. A key feature of our approach is that it takes advantage of the algebraic structure of permutations, in conjunction with special methods for optimizing functions over the symmetric group Sn in Fourier space. Experiments show that in practical domains the new method can outperform existing approaches.

研究动机与目标

• 解决机器学习和计算机视觉中匹配任务里二次分配问题（QAPs）的计算困难问题。
• 利用特定领域的知识——特别是类似QAP实例的先前解——来提高求解效率。
• 开发一种基于学习的方法，利用置换的代数结构来调整QAP的目标函数。
• 通过在傅里叶空间中对对称群Sn进行优化，加速收敛并提高匹配问题的准确性。
• 在具有已知解模式的实际应用中，展示该方法优于现有QAP求解器的性能。

提出的方法

• 该方法从同一应用领域中先前求解的QAP实例集合中学习修改后QAP目标函数的参数。
• 它利用对称群Sn的代数结构来表示并优化置换。
• 使用对称群上的调和分析，以高效方式表示和操作置换上的函数。
• 优化在傅里叶域中进行，从而能够更快地计算函数值和梯度。
• 学习到的参数用于引导最优匹配的搜索，减少对穷举枚举的需求。
• 该方法在存在先前解用于训练的真实世界匹配问题上进行了验证。

实验结果

研究问题

• RQ1 是否可以利用类似QAP实例的先前解来加速求解相同问题的新实例？
• RQ2 如何利用置换的代数结构来提高匹配问题中优化的效率？
• RQ3 通过调和分析学习修改后的目标函数，在多大程度上能提升解的质量和速度？
• RQ4 在实际场景中，对对称群Sn进行傅里叶域优化是否能优于传统QAP求解器？
• RQ5 该方法对先前QAP解训练集的变化具有多大程度的鲁棒性？

主要发现

• 所提出的方法在实际匹配任务中，相比标准QAP求解器，在解的质量和计算速度方面均有显著提升。
• 通过从先前实例中学习，该方法缩小了搜索空间，并加速了向最优或近似最优匹配的收敛。
• 在对称群上进行傅里叶域优化，即使在大规模置换空间中也能实现高效的计算和参数学习。
• 在存在领域特定知识的基准匹配问题上，该方法达到了最先进性能。
• 在真实世界数据集上的实验表明，该方法在准确性和运行时间方面均持续优于基线方法。
• 当有多个来自同一应用领域的先前解可用于训练时，该方法尤为有效。