[논문 리뷰] A unified approach to mixed-integer optimization: Nonlinear formulations and scalable algorithms

Dimitris Bertsimas, Ryan Cory-Wright외 1명|arXiv (Cornell University)|2019. 07. 03.

Supply Chain and Inventory Management인용 수 7

한 줄 요약

이 논문은 전통적인 big-M 선형화 대신 정규화 기반의 볼록 이진 형식으로 혼합정수최적화 문제를 통합적이고 비선형적으로 재구성하는 방법을 제안한다. 이는 커팅플레인과 1차 최적화 방법의 융합을 통해 더 빠르고 확장 가능한 해법을 가능하게 하며, 최신 MIP 및 SOCP 솔버보다 뛰어나게 작동한다. 대규모 문제—예를 들어 10만 개의 공변량을 가진 희소 회귀나 100개 이상의 노드를 가진 네트워크 설계—를 최대 40% 더 나은 성능과 수개의 주기보다 훨씬 더 빠른 속도로 해결한다.

ABSTRACT

We propose a unified framework to address a family of classical mixed-integer optimization problems, including network design, facility location, unit commitment, sparse portfolio selection, binary quadratic optimization, sparse principal analysis and sparse learning problems. These problems exhibit logical relationships between continuous and discrete variables, which are usually reformulated linearly using a big-M formulation. In this work, we challenge this longstanding modeling practice and express the logical constraints in a non-linear way. By imposing a regularization condition, we reformulate these problems as convex binary optimization problems, which are solvable using an outer-approximation procedure. In numerical experiments, we establish that a general-purpose numerical strategy, which combines cutting-plane, first-order and local search methods, solves these problems faster and at a larger scale than state-of-the-art mixed-integer linear or second-order cone methods. Our approach successfully solves network design problems with 100s of nodes and provides solutions up to 40\% better than the state-of-the-art; sparse portfolio selection problems with up to 3,200 securities compared with 400 securities for previous attempts; and sparse regression problems with up to 100,000 covariates.

연구 동기 및 목표

• 혼합정수최적화에서 연속 변수와 이진 변수 간의 논리적 제약 조건을 다루는 데 오랫동안 사용되어 온 big-M 선형화 방법의 사용에 도전하기 위해.
• 네트워크 설계, 시설 위치, 단위 기간 할당, 희소 학습 등 다양한 문제에 적용 가능한 통합 프레임워크를 개발하기 위해.
• 기존 혼합정수선형 또는 제2차원수형 프로그래밍 방법으로는 다루기 어려운 대규모 인스턴스에 대해 확장성과 해의 품질을 향상시키기 위해.
• 정규화를 통한 볼록 이진 최적화가 외부 근사 및 하이브리드 수치적 방법을 통해 효율적인 해법을 가능하게 함을 보여주기 위해.

제안 방법

• 전통적인 big-M 선형화 대신, 비선형이고 정규화 기반의 접근법을 사용하여 연속 변수와 이진 변수 간의 논리적 제약 조건을 재구성한다.
• 정규화 조건을 도입함으로써 유도된 문제를 볼록 이진 최적화 문제로 변환한다.
• 유도된 볼록 이진 문제를 효율적으로 해결하기 위해 외부 근사 절차를 적용한다.
• 일반 목적의 알고리즘 전략으로 커팅플레인 방법, 1차 최적화, 국소 탐색을 융합한다.
• 재구성된 문제의 볼록성을 활용하여 대규모 인스턴스의 확장 가능한 해법을 가능하게 한다.
• 통합 프레임워크를 사용하여 이진 제곱 최적화, 희소 주성분 분석, 희소 포트폴리오 선택 등의 다양한 문제를 다룰 수 있다.

실험 결과

연구 질문

• RQ1 혼합정수 문제의 논리적 제약 조건에 대한 비선형 재구성 방식이 기존 big-M 선형화 방식보다 확장성과 해의 품질 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 논리적 변수 의존성이 있는 다양한 혼합정수 문제에 대해 통합된 볼록 이진 최적화 프레임워크를 얼마나 널리 적용할 수 있는가?
• RQ3 커팅플레인, 1차 최적화, 국소 탐색 방법을 융합한 제안된 하이브리드 알고리즘이 최신 MIP 및 SOCP 솔버와 비교해 대규모 인스턴스에서 어떻게 확장되는가?
• RQ4 네트워크 설계 및 고차원 희소 회귀 응용 분야에서 제안된 방법으로 달성 가능한 최대 문제 크기는 무엇인가?

주요 결과

• 제안된 방법은 100개 이상의 노드를 가진 네트워크 설계 문제를 해결하여 최신 기술 대비 최대 40% 더 나은 성능을 달성한다.
• 희소 포트폴리오 선택 문제에서는 기존 방법의 400개 주식 한도를 크게 초월해 3,200개 주식까지 스케일링할 수 있다.
• 희소 회귀 문제를 최대 100,000개의 공변량까지 성공적으로 해결하여 예기치 못할 수준의 확장성을 입증한다.
• 일반 목적 알고리즘이 대규모 인스턴스에서 전문화된 최신 MIP 및 제2차원수형 솔버보다 속도와 해의 품질 측면에서 뛰어나다.
• 정규화를 통한 비선형 재구성은 볼록성을 보장하여 외부 근사 및 하이브리드 수치적 방법을 통한 효율적 해법이 가능하다.
• 이 프레임워크는 시설 위치, 단위 기간 할당, 희소 주성분 분석 등의 다양한 문제를 단일 확장 가능한 해법으로 통합한다.