[논문 리뷰] A unified approach to mixed-integer optimization problems with logical constraints

Dimitris Bertsimas, Ryan Cory-Wright외 1명|arXiv (Cornell University)|2019. 07. 03.

Risk and Portfolio Optimization참고 문헌 40인용 수 29

한 줄 요약

이 논문은 논리적 제약 조건을 가진 혼합정수최적화 문제를 위한 통합된 정규화 기반 프레임워크를 제안한다. 기존의 big-M 공식화 방식을 대체하여 릿지 정규화를 사용한 비선형이고 볼록적인 재구성 방식을 도입한다. 외부 근사와 쌍대성의 활용을 통해 이 방법은 네트워크 설계(100개 이상의 노드 포함) 및 희소 포트폴리오 선택(3,200개의 유동성 자산 포함)과 같은 대규모 문제를 기존 최상위 방법보다 최대 40% 더 빠르고 우수한 성능으로 해결한다.

ABSTRACT

We propose a unified framework to address a family of classical mixed-integer optimization problems with logically constrained decision variables, including network design, facility location, unit commitment, sparse portfolio selection, binary quadratic optimization, sparse principal analysis and sparse learning problems. These problems exhibit logical relationships between continuous and discrete variables, which are usually reformulated linearly using a big-M formulation. In this work, we challenge this longstanding modeling practice and express the logical constraints in a non-linear way. By imposing a regularization condition, we reformulate these problems as convex binary optimization problems, which are solvable using an outer-approximation procedure. In numerical experiments, we establish that a general-purpose numerical strategy, which combines cutting-plane, first-order and local search methods, solves these problems faster and at a larger scale than state-of-the-art mixed-integer linear or second-order cone methods. Our approach successfully solves network design problems with 100s of nodes and provides solutions up to 40\% better than the state-of-the-art; sparse portfolio selection problems with up to 3,200 securities compared with 400 securities for previous attempts; and sparse regression problems with up to 100,000 covariates.

연구 동기 및 목표

• 혼합정수최적화에서 논리적 제약 조건을 다룰 때 오랫동안 사용되어 온 big-M 공식화 방식의 도전.
• 네트워크 설계, 시설 위치, 희소 포트폴리오 선택과 같은 다양한 문제들을 하나의 정규화 기반 프레임워크로 통합하는 것.
• 특히 고차원 또는 강하게 볼록인 설정에서 big-M보다 더 효율적이고 안정적인 해법을 제공할 수 있음을 보여주기 위해 릿지 정규화의 유용성 입증.
• 자르기 평면, 일阶 방법, 국소 탐색 방법을 융합한 일반 목적 알고리즘 개발을 통한 대규모 문제의 확장 가능한 해법 제공.
• 제안된 외부 근사 접근법이 혼합정수선형 및 제2차원원형 방법보다 속도와 해의 질에서 뛰어나다는 것을 입증하기

제안 방법

• 논리적 제약 조건 'xi = 0 if zi = 0'을 xi를 zixi로 대체함으로써, 논리적 조건을 목적함수 내의 비선형 항을 통해 직접 통합.
• 해결 가능성과 안정성을 보장하기 위해 볼록 정규화 함수 Ω(x)를 도입하여 문제를 볼록 이진최적화 문제로 재구성.
• 강한 쌍대성의 원리를 활용해 문제를 혼합정수사다리점 문제로 재공식화함으로써, 외부 근사 기반 분해가 가능하도록 전환.
• 루트 노드에서 켈리의 방법을 통해 자르기 평면 생성을 수행하고 국소 탐색을 통한 하한 개선을 위한 외부 근사 알고리즘 적용.
• 연속 하위문제 해결을 위한 일阶 방법과 국소 탐색의 융합을 통해 수렴 속도 향상 및 해의 질 향상.
• 무작위 반올림과 분할정복 기반의 브랜치 앤 바운드를 활용해 증명 가능한 근사 최적 또는 확실한 최적 해 확보.

실험 결과

연구 질문

• RQ1 릿지 정규화가 혼합정수최적화에서 논리적 제약 조건을 강제하는 데 big-M보다 더 효과적인 대안으로 사용될 수 있는가?
• RQ2 정규화 기반의 통합 프레임워크가 네트워크 설계 및 희소 포트폴리오 선택과 같은 다양한 문제를 해결하는 데 기존 big-M 및 MISOCP 공식화보다 뛰어난 성능을 보일 수 있는가?
• RQ3 강한 볼록성 존재 시, 정규화 선택(비대칭 big-M 대비 릿지)이 계산 성능과 해의 질에 어떤 영향을 미치는가?
• RQ4 기본적인 구조(예: 카디널리티 제약 조건 또는 네트워크 희소성 등)를 활용해 외부 근사 방법의 속도를 얼마나 빠르게 개선할 수 있는가?
• RQ5 자르기 평면, 일阶 방법, 국소 탐색 방법을 융합한 일반 목적 알고리즘이 전문화된 솔버보다 대규모 혼합정수문제를 더 빠르고 정확하게 해결할 수 있는가?

주요 결과

• 제안된 방법은 100개 이상의 노드를 포함한 네트워크 설계 문제를 해결하여 기존 최상위 기법 대비 최대 40% 더 뛰어난 성능 달성.
• 희소 포트폴리오 선택 문제에서는 이전 기법이 400개 자산에 국한되었던 데 비해, 본 방법은 3,200개 자산까지 확장 가능.
• 희소 회귀 문제에서는 이전 기법이 달성하지 못한 100,000개의 공변수까지 성공적으로 처리.
• 목적함수의 제곱항 계수가 충분히 강할 경우(α > 1), 릿지 정규화가 big-M을 능가하며, CPLEX는 big-M 기반 문제에 대해 1시간 내 수렴 실패했지만, 릿지 기반 문제의 경우 n=150일 때 10초 이내에 해결.
• 릿지 정규화 경로는 모든 γ > 0 에서 안정적으로 탇성 유지되었고, 반면 big-M은 M < 1/k일 경우 타당해지지 않아 실용적 제약 조건이 명백히 드러남.
• OA + Both 전략(루트 노드의 자르기 평면과 국소 탐색의 융합)은 희소 포트폴리오 문제에서 92.5%의 승률과 91.7%의 상대적 향상률 기록하여, big-M 및 릿지 기반 접근법을 크게 능가함.