[논문 리뷰] Structural Analysis of Branch-and-Cut and the Learnability of Gomory Mixed Integer Cuts

Maria-Florina Balcan, Siddharth Prasad외 2명|arXiv (Cornell University)|2022. 04. 15.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 분기 컷 알고리즘의 구조적 분석을 제공하며, 기계학습을 통해 최적의 고모리 혼합정수(GMI) 컷 파라미터를 학습하기 위한 표본 복잡도 한계를 수립한다. 선형계획법(LP) 해와 B&C 탐색 트리가 컷 파라미터에 따라 어떻게 변화하는지를 다항분할과 기하학적 분석을 통해 특성화함으로써, 무한한 컷 가족, 특히 GMI 컷에 대해 일반화 보장을 가능하게 하는 의사결정차원 경계를 도출한다.

ABSTRACT

The incorporation of cutting planes within the branch-and-bound algorithm, known as branch-and-cut, forms the backbone of modern integer programming solvers. These solvers are the foremost method for solving discrete optimization problems and thus have a vast array of applications in machine learning, operations research, and many other fields. Choosing cutting planes effectively is a major research topic in the theory and practice of integer programming. We conduct a novel structural analysis of branch-and-cut that pins down how every step of the algorithm is affected by changes in the parameters defining the cutting planes added to the input integer program. Our main application of this analysis is to derive sample complexity guarantees for using machine learning to determine which cutting planes to apply during branch-and-cut. These guarantees apply to infinite families of cutting planes, such as the family of Gomory mixed integer cuts, which are responsible for the main breakthrough speedups of integer programming solvers. We exploit geometric and combinatorial structure of branch-and-cut in our analysis, which provides a key missing piece for the recent generalization theory of branch-and-cut.

연구 동기 및 목표

• Gomory 혼합정수 컷 파라미터의 변화가 전체 분기-컷(B&C) 탐색 트리에 미치는 영향을 이해하는 것.
• 커트 선택의 내재적 복잡도를 컷 파라미터의 함수로 분석함으로써 기계학습 기반 컷 선택에 대한 일반화 보장을 제공하는 것.
• 연속적인 LP 해의 변화와 이산적인 트리 구조 간의 상호작용을 분석함으로써 분기-컷에 대한 일반화 이론의 격차를 메우는 것.
• 정수계획법에 대한 분포 가정 하에, GMI 컷과 같은 무한한 컷 가족에 적용 가능한 표본 복잡도 한계를 유도하는 것.
• 커트 선택이 B&C 성능에 미치는 영향을 체계적으로 기술하여, 최적의 파라미터가 다양한 인스턴스 분포 간에 근본적으로 다를 수 있음을 보여주는 것.

제안 방법

• 차수 2의 다항부등식으로 정의된 경계를 사용하여 제약 벡터의 공간을, LP 해가 닫힌 형태로 표현 가능한 영역으로 분할한다.
• 이러한 영역을 통해 LP 해의 변화를 추적함으로써 컷 파라미터에 따른 B&C 탐색 트리의 변화를 분석한다.
• B&C 트리 구조가 동일한 컷 파라미터 벡터 집합을 기술하기 위해 다항부등식을 사용하며, d차수 제약 조건에 대해 차수는 $2dK$ 이하로 제한된다.
• 워런의 정리와 밀너-톰 정리를 적용하여, B&C 트리 구조가 유지되는 매개터 공간 내의 연결 성분 수를 상한한다.
• 다양한 다항표면과 연결 성분의 수를 사용하여 컷 파라미터에서 B&C 트리의 노드 수로의 사상 함수 클래스에 대한 의사결정차원 경계를 수립한다.
• 발간된 Balcan 등 [6]의 주요 결과를 활용하여, B&C 트리 크기 함수 클래스에 대한 의사결정차원 경계를 $ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $ 로 도출한다.

실험 결과

연구 질문

• RQ1 새로운 컷 평면이 추가될 때 선형계획법(LP) 해는 어떻게 변화하는가? 특히 정점 간의 불연속적 점프를 어떻게 기술할 수 있는가?
• RQ2 커트 평면을 정의하는 파라미터에 따라 분기-컷 탐색 트리의 구조는 어떻게 변화하는가?
• RQ3 커트 파라미터에서 B&C 트리 크기로의 사상의 내재적 복잡도는 무엇이며, 기하학적 및 조합적 도구를 통해 어떻게 상한을 구할 수 있는가?
• RQ4 기계학습 기반의 분기-컷 컷 선택에 대해 일반화 보장을 수립할 수 있으며, 이를 위해 필요한 표본 복잡도는 얼마인가?
• RQ5 정수계획법의 분포적 차이가 컷 파라미터의 최적 선택에 어떻게 영향을 미치며, 이를 체계적으로 포괄할 수 있는가?

주요 결과

• B&C 트리 구조가 유지되는 영역의 수는 $ 2^{O(n^2)}K^{O(n^3)}(m+2n)^{O(n^3)}\tau^{O(n^3)} $ 개이다.
• K개의 연속적인 GMI 컷에 의해 유도되는 서로 다른 B&C 트리 구조의 수는 의사결정차원 $ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $ 으로 상한된다.
• 동일한 B&C 트리를 유도하는 컷 파라미터 벡터 집합은 차수 $ 4K^2 $ 의 $ O(12^{n(n+1)}n^{2n(n+1)}K^{2n^{2}(n+1)}(m+2n)^{2n^{2}(n+1)}\tau^{5n^{2}(n+1)}) $ 개의 다항부등식의 교집합으로 기술될 수 있다.
• 분석 결과, 컷 파라미터의 미세한 변화가 LP 해의 불연속적 점프로 인해 B&C 트리에 큰 영향을 미칠 수 있음을 확인하였으며, 이는 철저한 구조적 모델링이 필요함을 시사한다.
• 결과적으로 최적의 컷 파라미터는 분포에 따라 근본적으로 다를 수 있음을 보여주며, 예를 들어 한 분포에서는 작은 $ \mu $ 가 더 좋고, 다른 분포에서는 큰 $ \mu $ 가 더 좋은 결과를 낳는다. 이는 분포 인식 기반 컷 학습의 필요성을 강조한다.
• 유도된 경계는 알려지지 않은 IP 분포에서 추출된 훈련 세트에 대해, 최적 또는 부분 최적일지라도 어떤 컷 선택 방법에 대해서도 일반화 보장을 제공한다.