[论文解读] A unified approach to mixed-integer optimization problems with logical constraints

Dimitris Bertsimas, Ryan Cory-Wright+1 more|arXiv (Cornell University)|Jul 3, 2019

Risk and Portfolio Optimization参考文献 40被引用 29

一句话总结

本文提出了一种统一的、基于正则化的混合整数优化框架，用于处理带逻辑约束的问题，以非线性、凸的重新表述取代传统的 big-M 公式，采用岭正则化方法。通过利用外逼近和对偶性，该方法在大规模问题（如含100多个节点的网络设计问题和含3,200种证券的稀疏投资组合选择问题）上的求解速度和性能比当前最先进的方法提升高达40%。

ABSTRACT

We propose a unified framework to address a family of classical mixed-integer optimization problems with logically constrained decision variables, including network design, facility location, unit commitment, sparse portfolio selection, binary quadratic optimization, sparse principal analysis and sparse learning problems. These problems exhibit logical relationships between continuous and discrete variables, which are usually reformulated linearly using a big-M formulation. In this work, we challenge this longstanding modeling practice and express the logical constraints in a non-linear way. By imposing a regularization condition, we reformulate these problems as convex binary optimization problems, which are solvable using an outer-approximation procedure. In numerical experiments, we establish that a general-purpose numerical strategy, which combines cutting-plane, first-order and local search methods, solves these problems faster and at a larger scale than state-of-the-art mixed-integer linear or second-order cone methods. Our approach successfully solves network design problems with 100s of nodes and provides solutions up to 40\% better than the state-of-the-art; sparse portfolio selection problems with up to 3,200 securities compared with 400 securities for previous attempts; and sparse regression problems with up to 100,000 covariates.

研究动机与目标

• 挑战混合整数优化中长期使用 big-M 公式处理逻辑约束的传统做法。
• 将网络设计、设施选址和稀疏投资组合选择等多样化问题统一到一个基于正则化的框架下。
• 证明在高维或强凸设置下，岭正则化相比 big-M 能够实现更高效、更稳定的求解方法。
• 开发一种通用算法，结合割平面法、一阶方法和局部搜索，以可扩展地求解大规模问题。
• 证明所提出的外逼近方法在速度和解的质量方面优于当前最先进的混合整数线性规划和二阶锥规划方法。

提出的方法

• 通过将 xi 替换为 zi xi，将逻辑约束 'xi = 0 if zi = 0' 重新表述，将逻辑直接嵌入目标函数中的非线性项。
• 引入凸正则化函数 Ω(x) 以确保可处理性和稳定性，将问题转化为凸二值优化问题。
• 利用强对偶性将问题重述为混合整数对偶问题，通过外逼近实现分解。
• 在根节点应用基于 Kelley 方法的割平面生成，并结合局部搜索以改进边界。
• 结合一阶方法求解连续子问题，同时结合局部搜索以加速收敛并提升解的质量。
• 采用随机舍入和分支定界法，获得具有保证近似最优或可验证最优的解。

实验结果

研究问题

• RQ1 岭正则化能否作为在混合整数优化中强制执行逻辑约束的更优替代方案，替代 big-M？
• RQ2 基于正则化的统一框架是否在求解网络设计和稀疏投资组合选择等多样化问题时，优于传统的 big-M 和 MISOCP 公式？
• RQ3 在强凸性问题中，正则化选择（big-M 与岭）如何影响计算性能和解的质量？
• RQ4 在利用问题特定结构（如基数约束或网络稀疏性）时，外逼近方法能在多大程度上被加速？
• RQ5 结合割平面法、一阶方法和局部搜索的通用算法，是否能比专用求解器更快、更准确地求解大规模混合整数问题？

主要发现

• 所提方法成功求解了含100多个节点的网络设计问题，其解的质量比当前最优方法高出最多40%。
• 在稀疏投资组合选择问题中，该方法可扩展至3,200种证券——是以往方法（受限于400种证券）的四倍。
• 在稀疏回归问题中，该方法成功处理了高达100,000个协变量的问题，远超以往能力范围。
• 当目标函数中的二次项足够强时（α > 1），岭正则化优于 big-M：CPLEX 在 big-M 框架下一小时内无法收敛，而 ridge 问题在 n=150 时可在10秒内求解完成。
• 岭正则化路径更加平滑，且对所有 γ > 0 均保持可行；而 big-M 在 M < 1/k 时变得不可行，这是其关键的实际限制。
• OA + Both 策略（结合根节点割平面和局部搜索）在稀疏投资组合问题上实现了92.5%的胜率和91.7%的相对性能提升，显著优于 big-M 和基于岭正则化的方案。