[논문 리뷰] P-split formulations: A class of intermediate formulations between big-M and convex hull for disjunctive constraints

Jan Kronqvist, Ruth Misener외 1명|arXiv (Cornell University)|2022. 02. 10.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 이산 제약 조건에 대해 big-M 및 볼록체 릴랙세이션 사이의 격차를 메우는 혼합정수계획법 형식인 P-split 형식을 소개한다. 제약 조건을 P개의 세그먼트로 분할하고, 그 결과로 생기는 선형화된 이산합의 볼록체를 형성함으로써, P-split 형식은 볼록체에 가까운 릴랙세이션 강도를 달성하면서도 계산 효율성을 유지한다. 이로 인해 솔루션 시간이 볼록체보다 최대 한 계단 어(ordern of magnitude) 감소하며, 분기한정 트리에서의 노드 수는 유사한 수준을 유지한다.

ABSTRACT

We develop a class of mixed-integer formulations for disjunctive constraints intermediate to the big-M and convex hull formulations in terms of relaxation strength. The main idea is to capture the best of both the big-M and convex hull formulations: a computationally light formulation with a tight relaxation. The "P-split" formulations are based on a lifted transformation that splits convex additively separable constraints into P partitions and forms the convex hull of the linearized and partitioned disjunction. The "P-split" formulations are derived for disjunctive constraints with convex constraints within each disjunct, and we generalize the results for the case with nonconvex constraints within the disjuncts. We analyze the continuous relaxation of the P-split formulations and show that, under certain assumptions, the formulations form a hierarchy starting from a big-M equivalent and converging to the convex hull. We computationally compare the P-split formulations against big-M and convex hull formulations on 344 test instances. The test problems include K-means clustering, semi-supervised clustering, P_ball problems, and optimization over trained ReLU neural networks. The computational results show promising potential of the P-split formulations. For many of the test problems, P-split formulations are solved with a similar number of explored nodes as the convex hull formulation, while reducing the solution time by an order of magnitude and outperforming big-M both in time and number of explored nodes.

연구 동기 및 목표

• 이산 제약 조건을 위한 MIP 형식의 클래스를 개발하여 릴랙세이션 강도와 계산 가능성의 균형을 이룬다.
• big-M 형식의 약한 릴랙세이션과 볼록체 형식의 높은 계산 비용 사이의 상충 관계를 해결한다.
• 분할 수 P가 릴랙세이션의 날카움과 모델 크기 사이의 상충 관계를 제어할 수 있는 조정 가능한 프레임워크를 제공한다.
• P-split 형식이 실제로 big-M보다 볼록체 릴랙세이션에 더 가까이 근사할 수 있으며, 볼록체보다 훨씬 우수한 성능을 보임을 보여준다.
• 실세계 문제들인 K-means 클러스터링, P_ball 문제, 훈련된 ReLU 신경망에 대해 이 접근법을 검증한다.

제안 방법

• 각 이산 제약 조건을 P개의 가산 분리 가능한 부분으로 나누는 리프팅 변환을 수행한다.
• 각 부분에 대해 이산합을 선형화하고, 그 결과로 생긴 조각별 선형 이산합의 볼록체를 형성한다.
• P-split 형식은 모든 부분에 걸쳐 이러한 볼록체를 조합하여, big-M보다 더 날카운 릴랙세이션을 제공하지만 전체 볼록체보다 변수와 제약 조건 수가 적다.
• 각 부분의 제약 조건에 대해 볼록성, 가환성, 분리 가능성의 가정 하에 형식이 유도된다.
• 릴랙세이션 강도는 P가 증가함에 따라 증가하며, 특정 조건 하에서 볼록체로 수렴하는 계층을 형성한다.
• 이 방법은 여러 문제 유형에 걸쳐 320개의 인스턴스에서 구현 및 테스트되었으며, big-M 및 볼록체 형식과의 솔루션 시간과 탐색한 노드 수를 비교하였다.

실험 결과

연구 질문

• RQ1 big-M 및 볼록체 릴랙세이션 사이의 중간 정도의 릴랙세이션 강도를 제공하는 형식의 클래스를 개발할 수 있는가?
• RQ2 이산 제약 조건을 P개 세그먼트로 분할하고, 그 결과로 생긴 선형화된 이산합의 볼록체를 형성하면, 계산 효율성은 유지하면서도 강력한 릴랙세이션을 얻을 수 있는가?
• RQ3 분할 수 P를 증가시키면 릴랙세이션 강도와 계산 성능에 어떤 영향을 미치는가?
• RQ4 실제로 P-split 형식이 big-M 및 볼록체 형식을 모두 초월할 수 있는가, 특히 솔루션 시간과 탐색한 노드 수 측면에서?
• RQ5 어떤 구조적 가정 하에서 P-split 형식이 볼록체 릴랙세이션으로 수렴하는가?

주요 결과

• 많은 테스트 문제들에서 P-split 형식은 볼록체 형식과 유사한 수준의 분기한정 노드 수를 탐색하여 뛰어난 릴랙세이션 품질을 보였다.
• P-split 형식은 볼록체 형식 대비 솔루션 시간을 최대 한 계단 어 감소시켰으며, 노드 수는 비슷한 수준을 유지했다.
• K-means 클러스터링 및 P_ball 문제에서는 P=8 또는 P=16인 P-split 형식이 10초 이내의 솔루션 시간을 달성했고, 볼록체 형식은 자주 타임아웃되었다.
• ReLU 신경망 문제(NN1_OSIF부터 NN4_OSIF까지)에서는 P=8에서 P=50인 P-split 형식이 big-M 대비 탐색한 노드 수를 최대 50% 감소시키며, 솔루션 시간도 50% 이상 단축시켰다.
• P=32 또는 P=50인 P-split 형식은 320개의 테스트 인스턴스 중 142개에서 솔루션 시간 측면에서 big-M 및 볼록체 형식을 모두 능가했다.
• P-split 형식의 릴랙세이션 강도는 P가 증가함에 따라 증가하며, 가정된 구조적 조건 하에서 볼록체 릴랙세이션으로 수렴한다.