[论文解读] A unified approach to mixed-integer optimization: Nonlinear formulations and scalable algorithms

Dimitris Bertsimas, Ryan Cory-Wright+1 more|arXiv (Cornell University)|Jul 3, 2019

Supply Chain and Inventory Management被引用 7

一句话总结

本文通过用基于正则化的凸二值公式替代传统的大M线性化方法，提出了一种统一的、非线性的混合整数优化问题重 formulation，结合割平面法与一阶方法的混合策略，实现了更快、可扩展的求解。该方法在性能上优于最先进的MIP和SOCP求解器，能够将大规模问题（如100k协变量稀疏回归和100多个节点的网络设计问题）的求解效果提升40%，并实现数量级的加速。

ABSTRACT

We propose a unified framework to address a family of classical mixed-integer optimization problems, including network design, facility location, unit commitment, sparse portfolio selection, binary quadratic optimization, sparse principal analysis and sparse learning problems. These problems exhibit logical relationships between continuous and discrete variables, which are usually reformulated linearly using a big-M formulation. In this work, we challenge this longstanding modeling practice and express the logical constraints in a non-linear way. By imposing a regularization condition, we reformulate these problems as convex binary optimization problems, which are solvable using an outer-approximation procedure. In numerical experiments, we establish that a general-purpose numerical strategy, which combines cutting-plane, first-order and local search methods, solves these problems faster and at a larger scale than state-of-the-art mixed-integer linear or second-order cone methods. Our approach successfully solves network design problems with 100s of nodes and provides solutions up to 40\% better than the state-of-the-art; sparse portfolio selection problems with up to 3,200 securities compared with 400 securities for previous attempts; and sparse regression problems with up to 100,000 covariates.

研究动机与目标

• 挑战混合整数优化中连续变量与离散变量之间逻辑约束长期依赖大M线性化的传统做法。
• 开发一个适用于多种问题的统一框架，包括网络设计、设施选址、机组组合和稀疏学习。
• 提升大规模实例的可扩展性和求解质量，超越现有混合整数线性或二阶锥方法的处理能力。
• 证明通过正则化实现的凸二值优化可借助外逼近法和混合数值算法实现高效求解。

提出的方法

• 使用非线性、基于正则化的替代方法，取代传统的大M线性化，对连续变量与二值变量之间的逻辑约束进行重表述。
• 通过施加正则化条件，将所得问题转化为凸二值优化问题。
• 应用外逼近过程，高效求解凸二值问题。
• 在通用的算法策略中结合割平面法、一阶优化和局部搜索方法。
• 利用重表述后问题的凸性，实现大规模实例的可扩展求解。
• 利用统一框架处理多种问题，如二值二次优化、稀疏主成分分析和稀疏组合选择。

实验结果

研究问题

• RQ1 在可扩展性和求解质量方面，混合整数问题中逻辑约束的非线性重表述是否能超越传统的基于大M的线性化方法？
• RQ2 统一的凸二值优化框架在具有逻辑变量依赖关系的多样化混合整数问题中，其适用范围有多大？
• RQ3 与最先进的MIP和SOCP求解器相比，所提出的混合算法（结合割平面法、一阶方法和局部搜索）在大规模实例上的可扩展性如何？
• RQ4 在诸如网络设计和高维稀疏回归等应用中，该方法可处理的最大问题规模是多少？

主要发现

• 该方法求解了超过100个节点的网络设计问题，求解效果比现有最优方法提升高达40%。
• 在稀疏组合选择问题中，该方法可扩展至3,200只证券，显著超过以往方法400只证券的限制。
• 该算法成功求解了最多含100,000个协变量的稀疏回归问题，展现出前所未有的可扩展性。
• 在大规模实例上，该通用算法在速度和求解质量方面均优于专用的最先进的MIP和二阶锥求解器。
• 通过正则化实现的非线性重表述带来了凸性，使得外逼近法和混合数值方法能够高效求解。
• 该框架将多种问题——包括设施选址、机组组合和稀疏主成分分析——统一于单一可扩展的求解方法之下。