[论文解读] Heuristic algorithms for the bipartite unconstrained 0-1 quadratic programming problem

Daniel Karapetyan, Abraham P. Punnen|arXiv (Cornell University)|Oct 13, 2012

Optimization and Packing Problems参考文献 12被引用 13

一句话总结

本文提出针对二分无约束0-1二次规划问题（BQP）的专用启发式算法，通过构造启发式、局部搜索和邻域搜索技术，充分利用其独特结构。研究表明，BQP专用启发式算法在非方阵实例中显著优于基于QP的重 formulation 方法，其中 Row-Merge 和 Multi-Start 启发式算法分别在结构化实例和随机实例上表现更优。

ABSTRACT

We study the Bipartite Unconstrained 0-1 Quadratic Programming Problem (BQP) which is a relaxation of the Unconstrained 0-1 Quadratic Programming Problem (QP). Applications of the BQP include mining discrete patterns from binary data, approximating matrices by rank-one binary matrices, computing cut-norm of a matrix, and solving optimization problems such as maximum weight biclique, bipartite maximum weight cut, maximum weight induced subgraph of a bipartite graph, etc. We propose several classes of heuristic approaches to solve the BQP and discuss a number of construction algorithms, local search algorithms and their combinations. Results of extensive computational experiments are reported to establish the practical performance of our algorithms. For this purpose, we propose several sets of test instances based on various applications of the BQP. Our algorithms are compared with state-of-the-art heuristics for QP which can also be used to solve BQP with reformulation. We also study theoretical properties of the neighborhoods and algorithms. In particular, we establish complexity of all neighborhood search algorithms and establish tight worst-case performance ratio for the greedy algorithm.

研究动机与目标

• 为二分无约束0-1二次规划问题（BQP）开发高效的专用启发式算法，该问题为NP难，出现在矩阵近似和模式挖掘等应用中。
• 克服将BQP重 formulation 为更大规模QP问题所带来的低效问题，避免损失结构优势并减少计算开销。
• 在多种BQP实例类型上评估不同启发式策略（构造、局部搜索与元启发式）的性能。
• 为关键算法（如贪心启发式）建立理论性质，包括邻域复杂度与最坏情况性能比。
• 提供一个全面的BQP实例测试集，并将启发式性能与最先进的QP求解器进行比较。

提出的方法

• 提出多种构造启发式，包括贪心选择与行合并策略，用于生成BQP的初始可行解。
• 采用翻转邻域（单变量逐次改变）和可变邻域下降（VND）的局部搜索，迭代改进解。
• 引入基于聚类的行合并启发式，通过分组行来提升结构化实例的解质量。
• 使用带多样化策略的Multi-Start启发式，探索解空间的不同区域，尤其在随机实例上表现优异。
• 将BQP专用启发式与基于QP的重 formulation 方法进行比较，后者将BQP转化为标准QP问题并使用现有QP求解器求解。
• 对邻域结构进行复杂度分析，并推导出贪心算法的紧致最坏情况性能比为1/2。

实验结果

研究问题

• RQ1 在不同实例类型下，BQP专用启发式与基于QP的重 formulation 方法在解质量与运行时间方面如何比较？
• RQ2 在结构化、随机或矩阵分解实例中，哪种启发式策略——贪心、Multi-Start、Row-Merge 或 VND——表现最佳？
• RQ3 BQP贪心构造启发式算法的理论最坏情况性能比是多少？
• RQ4 邻域搜索算法（如翻转、交换）的复杂度如何随问题规模增长？
• RQ5 在何种情况下，基于QP的重 formulation 方法仍具竞争力？在何种情况下会因数值或结构问题而失效？

主要发现

• 在结构化BQP实例上，使用小簇的Row-Merge启发式显著优于简单Multi-Start启发式，表明其在实际应用中的价值。
• Multi-Start启发式在随机实例上取得更优结果，证明其在平坦、非结构化解空间中的有效性。
• 基于QP的重 formulation 方法仅在“方阵”或近似方阵实例（m ≈ n）上表现良好，但在Max Biclique实例上因存在大负权重而失败或溢出。
• 贪心构造启发式具有紧致的最坏情况性能比1/2，为该算法的近似质量提供了理论边界。
• 当n ≫ m时，穷举搜索比MIP更高效；而当为方阵实例时，MIP占优，凸显实例特征的重要性。
• 基于QP的求解器初始化耗时较长，仅在给予较长运行时间时才优于BQP专用启发式，表明存在设置成本与解质量之间的权衡。