[논문 리뷰] Warm-starting constraint generation for mixed-integer optimization: A Machine Learning approach

Asunción Jiménez-Cordero, Juan M. Morales외 1명|arXiv (Cornell University)|2021. 03. 24.

Constraint Satisfaction and Optimization인용 수 4

한 줄 요약

이 논문은 혼합정수선형계획법(MILP)에서 제약조건 생성을 위한 기계학습 기반 온라인 온도 시작 전략을 제안한다. 여기서는 과거 MILP 인스턴스들로부터 사전에 학습된 불변 제약조건 집합(결정적인 제약조건과 임계 비결정 비결정 제약조건을 포함)을 사용하여 온라인 최적화를 초기화한다. 이 방법은 최적성과 타당성 보장을 유지하면서도 온라인 해법 시간을 최대 60% 감소시키며, k=5일 때 단일 반복 내에 93%의 유닛 커밋먼트 테스트 케이스에서 최적해를 도출한다.

ABSTRACT

Mixed Integer Linear Programs (MILP) are well known to be NP-hard (Non-deterministic Polynomial-time hard) problems in general. Even though pure optimization-based methods, such as constraint generation, are guaranteed to provide an optimal solution if enough time is given, their use in online applications remains a great challenge due to their usual excessive time requirements. To alleviate their computational burden, some machine learning techniques (ML) have been proposed in the literature, using the information provided by previously solved MILP instances. Unfortunately, these techniques report a non-negligible percentage of infeasible or suboptimal instances. By linking mathematical optimization and machine learning, this paper proposes a novel approach that speeds up the traditional constraint generation method, preserving feasibility and optimality guarantees. In particular, we first identify offline the so-called invariant constraint set of past MILP instances. We then train (also offline) a machine learning method to learn an invariant constraint set as a function of the problem parameters of each instance. Next, we predict online an invariant constraint set of the new unseen MILP application and use it to initialize the constraint generation method. This warm-started strategy significantly reduces the number of iterations to reach optimality, and therefore, the computational burden to solve online each MILP problem is significantly reduced. Very importantly, all the feasibility and optimality theoretical guarantees of the traditional constraint generation method are inherited by our proposed methodology. The computational performance of the proposed approach is quantified through synthetic and real-life MILP applications.

연구 동기 및 목표

• 온라인 응용에서 MILP를 푸는 데 드는 높은 계산 부담을 해결하기 위해, 기존 제약조건 생성 기법이 너무 느리다는 점을 해결하기 위해.
• 기존 기계학습 방법들이 임계 비결정 제약조건을 忽시함으로써 최적해가 아니거나 타당성이 없는 해가 도출되는 한계를 극복하기 위해.
• 기존 제약조건 생성 기법이 보장하는 이론적 최적성과 타당성 보장을 유지하면서 수렴 속도를 가속화하는 방법을 개발하기 위해.
• 과거 문제 인스턴스들로부터 유도된 불변 제약조건 집합을 학습하고 재사용하여 온라인 MILP 해법을 가속화하기 위해.
• 단지 활성화된 제약조건 외에도 제약조건의 구조적 지식을 통합함으로써 기계학습 모델의 예측 능력을 향상시키기 위해.

제안 방법

• 과거 각 MILP 인스턴스에 대해 불변 제약조건 집합을 사전에 식별함. 이 집합은 최적성을 유지하기 위해 반드시 포함되어야 하는 최소 제약조건 집합으로 정의된다.
• 우리의 문제 파rameter(예: 우변항 값 등)를 기반으로 불변 제약조건 집합을 예측하기 위해 기계학습 모델(예: k-NN 또는 $σ$-learner)을 훈련함.
• 예측된 불변 제약조건 집합을 새로운 미리보지 않은 MILP 인스턴스에서 제약조건 생성 알고리즘의 온도 시작으로 사용함.
• 학습된 초기 집합에서 시작하여 제약조건 생성을 수행하고, 최적성이 확보될 때까지 위반된 제약조건을 반복적으로 추가함.
• 불변 집합이 해에서 활성화된 제약조건 외에도 최적성에 결정적인 비결정 제약조건을 포함하고 있음을 활용함.
• 기존 제약조건 생성 기법으로부터 유도된 이론적 타당성 및 최적성 보장을 유지함.

실험 결과

연구 질문

• RQ1 기계학습 모델이 과거 데이터를 기반으로 새로운 MILP 인스턴스의 불변 제약조건 집합을 효과적으로 예측할 수 있는가?
• RQ2 학습된 불변 제약조건 집합을 온도 시작으로 사용할 경우, 제약조건 생성의 반복 횟수가 상당히 감소하는가?
• RQ3 제안된 방법이 온라인 MILP 해법을 가속화하면서도 최적성과 타당성 보장을 유지할 수 있는가?
• RQ4 기존 제약조건 생성 기법과 비결정 제약조건을 忽시하는 기계학습 방법과 비교해 볼 때, 제안된 방법의 성능는 어떠한가?
• RQ5 실제 응용 사례(예: 유닛 커밋먼트)에서 불변 집합 예측 정확도가 해법 시간 감소와 얼마나 관련이 있는가?

주요 결과

• 제안된 방법은 유닛 커밋먼트 문제에서 온라인 해법 시간을 원래 MILP 시간의 약 40%로 감소시켜 뚜렷한 성능 향상을 이뤘다.
• k=5일 때 93%의 유닛 커밋먼트 인스턴스에서 불변 제약조건 집합의 정확한 예측 덕분에 제약조건 생성의 단일 반복 내에 최적해를 도출했다.
• k=100일 때 거의 100%의 문제들이 단일 반복 내에 최적해에 도달하여 높은 예측 정확도와 강건성을 입증했다.
• 비결정 제약조건을 忽시하는 기존 기준선 방법들보다 성능이 뛰어나, 낮은 품질의 온도 시작으로 인해 최적해가 아니거나 타당성이 없는 해가 도출되는 경우를 피했다.
• 많은 기존 기계학습 기반 MILP 방법들이 최적성 위험을 안고 있음에도 불구하고, 이 방법은 완전한 최적성과 타당성 보장을 유지했다.
• 계산 부담이 크게 감소했으며, 이는 전체 제약조건 생성에 비해 시간의 일부분만으로 동일한 결과를 도출함으로써 입증되었다.