[논문 리뷰] Branch and Bound in Mixed Integer Linear Programming Problems: A Survey of Techniques and Trends

Lingying Huang, Xiaomeng Chen외 5명|arXiv (Cornell University)|2021. 11. 05.

Scheduling and Optimization Algorithms참고 문헌 105인용 수 16

한 줄 요약

이 종합 검토는 혼합정수선형계획법(MILP)에서 분기한정(B&B)을 가속화하기 위한 기계학습 기법을 검토하며, 분기 변수 선택, 노드 선택, 잘라내기, 컷플레인 생성의 네 가지 핵심 구성요소 향상에 초점을 맞춘다. 또한 지도학습, 비지도학습, 강화학습이 충분한 훈련과 문제에 특화된 초기화를 통해 전통적인 히ュ리스틱 규칙을 뛰어넘는 의사결정 정책을 학습함으로써 B&B의 속도를 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In this paper, we surveyed the existing literature studying different approaches and algorithms for the four critical components in the general branch and bound (B&B) algorithm, namely, branching variable selection, node selection, node pruning, and cutting-plane selection. However, the complexity of the B&B algorithm always grows exponentially with respect to the increase of the decision variable dimensions. In order to improve the speed of B&B algorithms, learning techniques have been introduced in this algorithm recently. We further surveyed how machine learning can be used to improve the four critical components in B&B algorithms. In general, a supervised learning method helps to generate a policy that mimics an expert but significantly improves the speed. An unsupervised learning method helps choose different methods based on the features. In addition, models trained with reinforcement learning can beat the expert policy, given enough training and a supervised initialization. Detailed comparisons between different algorithms have been summarized in our survey. Finally, we discussed some future research directions to accelerate and improve the algorithms further in the literature.

연구 동기 및 목표

• 혼합정수선형계획법(MILP)에서 분기한정(B&B) 알고리즘의 네 핵심 구성요소를 최적화하기 위한 기존 방법을 분석하고 통합한다.
• 특히 지도학습, 비지도학습, 강화학습을 포함한 기계학습 기법이 B&B의 의사결정을 향상시켜 해를 구하는 데 소요되는 시간을 줄이고 갭 성능을 향상시키는 방식을 평가한다.
• 현재 학습 기반 B&B 접근법의 한계, 특히 온라인 적응성 부족과 시간 및 해 품질 제약 고려 부족을 규명한다.
• 향후 연구 방향, 즉 온라인 튜닝, 훈련 데이터 요구량 감소, 그리고 공동 이차형 프로그래밍과 같은 비-MILP 문제로의 확장 등을 탐색한다.

제안 방법

• 논문은 분기한정(B&B) 알고리즘의 네 가지 핵심 구성요소인 분기 변수 선택, 노드 선택, 노드 잘라내기, 컷플레인 선택에 중점을 두고 B&B 알고리즘에 관한 문헌을 종합적으로 조사한다.
• 전문가 정책을 모방하는 지도학습 방법을 평가하여 수동으로 알고리즘을 설계하지 않고도 최적의 의사결정 규칙을 근사화한다.
• 문제 특성에 따라 다양한 B&B 전략을 동적으로 선택하는 비지도학습 기법을 검토한다.
• B&B 성능을 최적화하도록 훈련된 강화학습 모델을 분석하여, 충분한 훈련과 지도학습 초기화를 통해 전문가가 설계한 전략을 뛰어넘는 성능을 낼 수 있음을 보여준다.
• 다양한 MILP 문제 유형과 훈련 철학 간의 알고리즘 성능를 상세히 비교한다.
• 비-MILP 문제, 예를 들어 공동 이차형 제약을 가진 프로그램으로의 분석을 확장하여, 이러한 영역에서 학습 기반 가속화의 잠재력을 제안한다.

실험 결과

연구 질문

• RQ1 기계학습은 혼합정수선형계획법 문제에서 분기한정 알고리즘의 성능를 어떻게 향상시킬 수 있는가?
• RQ2 분기 및 노드 선택과 같은 B&B 구성요소 최적화에서 지도학습, 비지도학습, 강화학습의 상대적 이점은 무엇인가?
• RQ3 학습 기반 정책은 수동으로 설계된 히ュ리스틱보다 B&B에서 뛰어날 수 있으며, 어떤 조건에서 그러한 성능 향상이 달성되는가?
• RQ4 현재 학습 기반 B&B 접근법의 주요 한계는 무엇인가, 특히 훈련 비용, 적응 가능성, 시간 및 해 품질 제약 통합 측면에서?
• RQ5 공동 이차형 프로그램과 같은 비-MILP 문제로 학습 기반 B&B를 어떻게 확장할 수 있는가?

주요 결과

• 지도학습 방법은 전문가 규칙을 밀접하게 모방하는 의사결정 정책을 생성할 수 있으나, 훨씬 빠른 계산 속도를 제공한다.
• 비지도학습은 문제에 특화된 특성에 기반해 B&B 전략을 동적으로 선택함으로써 다양한 문제 인스턴스에 대한 적응성을 향상시킨다.
• 충분한 데이터와 지도학습 초기화를 통해 훈련된 강화학습 모델은 속도와 해 품질 측면에서 전문가가 설계한 전략을 뛰어넘을 수 있다.
• 성능 향상에도 불구하고, 대부분의 현재 학습 기반 접근법은 모든 노드를 동일하게 취급하며 B&B 실행 중 생성되는 실시간 특성을 활용하지 않아 온라인 최적화 잠재력이 제한된다.
• 대규모 MILP 문제에 대한 훈련 데이터 생성의 계산 비용을 줄이는 것이 여전히 주요 과제이다.
• 공동 이차형 프로그램과 같은 비-MILP 문제로 학습 기반 B&B를 확장하는 것은 유망하지만 아직 탐색이 부족한 연구 방향이다.