[论文解读] Augmentative Message Passing for Traveling Salesman Problem and Graph Partitioning

Siamak Ravanbakhsh, Reihaneh Rabbany+1 more|arXiv (Cornell University)|Jun 4, 2014

Vehicle Routing Optimization Methods参考文献 33被引用 7

一句话总结

本文提出了一种增强型消息传递方法，用于组合优化，通过在因子图中的消息传递中应用类似列生成的策略，以处理大量约束。该方法在 O(N³) 时间内实现了旅行商问题的近似最优解，并通过稀疏约束采样在图划分中实现了具有竞争力的模块度，展示了在基准实例上的高效性和可扩展性。

ABSTRACT

The cutting plane method is an augmentative constrained optimization procedure that is often used with continuous-domain optimization techniques such as linear and convex programs. We investigate the viability of a similar idea within message passing -- which produces integral solutions -- in the context of two combinatorial problems: 1) For Traveling Salesman Problem (TSP), we propose a factor-graph based on Held-Karp formulation, with an exponential number of constraint factors, each of which has an exponential but sparse tabular form. 2) For graph-partitioning (a.k.a., community mining) using modularity optimization, we introduce a binary variable model with a large number of constraints that enforce formation of cliques. In both cases we are able to derive surprisingly simple message updates that lead to competitive solutions on benchmark instances. In particular for TSP we are able to find near-optimal solutions in the time that empirically grows with N^3, demonstrating that augmentation is practical and efficient.

研究动机与目标

• 解决消息传递在具有指数级数量约束的问题（如 TSP 和基于模块度的图划分）中的可扩展性挑战。
• 克服传统消息传递在处理具有大量硬约束的高阶因子图时的局限性。
• 通过迭代约束增强，开发一种实用且高效的 NP-难组合优化问题整数解近似方法。
• 证明通过约束增强的消息传递方法在解质量与运行时间方面可优于或匹配当前最先进方法。

提出的方法

• 基于 Held-Karp 松弛，使用二值边变量和指数级但稀疏的约束因子，构建 TSP 的因子图，以强制执行度数和连通性约束。
• 通过模块度优化建模图划分，采用二值变量形式，并引入团强制约束以识别社区。
• 应用最小和信念传播，在初始可处理的约束子集上计算近似 MAP 解。
• 通过当前解迭代识别并添加违反的约束（如 TSP 中的连通分量或划分中的非团社区）。
• 使用稀疏零模型来减少模块度的团约束数量，从而在不损失解质量的前提下提高效率。
• 基于消息偏置（μₑ > 0 ⇒ xₑ = 1）直接固定变量，无需去噪，直接获得整数解。

实验结果

研究问题

• RQ1 消息传递是否能以类似于连续优化中列生成法的方式，通过增强违反约束实现有效扩展？
• RQ2 该增强型消息传递方法是否可扩展至具有指数级约束的大规模组合优化问题？
• RQ3 该方法在基准 TSP 和图划分实例上是否实现了具有竞争力的解质量，同时保持较低计算成本？
• RQ4 约束增强过程在不降低解质量的前提下，减少活跃约束数量的效率如何？
• RQ5 与传统列生成方法中使用分数解相比，基于整数解的消息传递是否能简化违反约束的检测？

主要发现

• 所提出的增强型消息传递方法在基准实例上实现了 TSP 的近似最优解，经验运行时间呈 O(N³) 规模增长。
• 在图划分中，该方法产生的模块度得分与 Louvain 和 FastModularity 等当前最先进启发式方法相当，且运行时间具有竞争力。
• 在 polblogs 数据集中，该方法将活跃约束数量减少至全集的 0.14%，通过稀疏零模型实现了显著剪枝。
• 在 TSP 中，算法通过检测当前解中的连通分量来识别违反约束，从而实现高效的迭代优化。
• 该方法避免了传统列生成方法中对分数解进行舍入的步骤，从而避免破坏保证，直接基于整数赋值进行计算。
• 该方法高度可并行化，在结构化优化问题中运行速度优于线性规划，如先前工作所示并在此处得到验证。