[논문 리뷰] On Representing Mixed-Integer Linear Programs by Graph Neural Networks

Ziang Chen, Jialin Liu외 3명|arXiv (Cornell University)|2022. 10. 19.

Vehicle Routing Optimization Methods인용 수 6

한 줄 요약

이 논문은 혼합정수선형계획문(MILPs)에 대한 그래프 신경망(GNNs)의 표현 한계를 조사하며, 표준 GNNs가 그들 고유한 표현력 제약으로 인해 모든 타당 및 비타당한 MILPs를 구분할 수 없다는 것을 증명한다. 저자들은 MILPs를 펼침 가능한 인스턴스로 제한하거나 무작위 특징을 추가함으로써, GNNs가 타당성, 최적 목표값, 최적 해를 정해진 정밀도 이내로 신뢰성 있게 근사할 수 있음을 보여주며, 이는 소규모 수치 실험을 통해 검증된다.

ABSTRACT

While Mixed-integer linear programming (MILP) is NP-hard in general, practical MILP has received roughly 100--fold speedup in the past twenty years. Still, many classes of MILPs quickly become unsolvable as their sizes increase, motivating researchers to seek new acceleration techniques for MILPs. With deep learning, they have obtained strong empirical results, and many results were obtained by applying graph neural networks (GNNs) to making decisions in various stages of MILP solution processes. This work discovers a fundamental limitation: there exist feasible and infeasible MILPs that all GNNs will, however, treat equally, indicating GNN's lacking power to express general MILPs. Then, we show that, by restricting the MILPs to unfoldable ones or by adding random features, there exist GNNs that can reliably predict MILP feasibility, optimal objective values, and optimal solutions up to prescribed precision. We conducted small-scale numerical experiments to validate our theoretical findings.

연구 동기 및 목표

• 혼합정수선형계획문(MILPs)의 핵심 성질, 예를 들어 타당성, 최적 목표값, 최적 해를 그래프 신경망(GNNs)이 표현할 수 있는지 조사하기.
• 특히 일부 타당 및 비타당한 인스턴스를 구분하지 못하는 문제를 포함하여, 일반적인 MILPs를 표현하는 데서 GNNs의 기본적인 한계를 규명하기.
• GNNs가 타당성 및 최적 해와 같은 MILP 특성을 효과적으로 근사할 수 있는 조건을 설정하기.
• 무작위 특징 또는 펼침 가능한 구조를 갖춘 GNNs를 사용한 소규모 수치 실험을 통해 이론적 결과를 검증하기.

제안 방법

• GNNs의 순열 불변성과 표현력을 활용하기 위해 MILPs를 이분 또는 삼분 그래프로 모델링한다.
• GNN의 분리 능력을 이론적 기준으로 삼기 위해 Weisfeiler-Lehman(WL) 테스트를 사용하며, 이를 MILP 인스턴스의 구분 가능성과 연관시킨다.
• 제약 행렬의 구조가 순차적 처리가 가능한 '펼침 가능한' MILPs라는 개념을 도입하여, GNNs가 이를 효과적으로 표현할 수 있음을 보여준다.
• GNN의 표현력을 향상시키기 위해 MILP 인스턴스에 무작위 특징을 추가하는 방법을 제안하며, 이로써 서로 다른 MILP 인스턴스가 다른 임bedding으로 매핑되도록 보장한다.
• 이론적 분석을 통해 펼침 가능한 또는 무작위 특징 조건 하에서 GNNs가 타당성, 최적 목표값, 최적 해를 정해진 정밀도 이내로 근사할 수 있음을 증명한다.
• GNNs에 다층퍼셉트론(MLPs)을 사용한 메시지 전파를 적용하고, 합성 MILP 데이터셋에서 평균제곱오차 손실을 사용해 Adam 최적화 기법으로 훈련한 소규모 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 GNNs는 혼합정수선형계획문(MILP)의 타당성을 신뢰성 있게 예측할 수 있는가?
• RQ2 GNNs는 정해진 정밀도 이내로 MILP의 최적 목표값을 근사할 수 있는가?
• RQ3 충분한 표현 능력을 갖춘 GNNs는 MILP의 최적 해를 예측할 수 있는가?
• RQ4 어떤 구조적 또는 특징 기반 수정이 GNNs가 고유한 표현 한계를 극복하는 데 도움이 되는가?

주요 결과

• 표준 GNNs는 Weisfeiler-Lehman 테스트에 의해 제한되는 제한된 분리 능력으로 인해 모든 타당 및 비타당한 MILP 인스턴스를 구분할 수 없다.
• 특정 순차적 구조를 가진 '펼침 가능한' MILPs의 경우, 타당성, 최적 목표값, 최적 해를 임의의 정밀도 이내로 근사할 수 있는 GNNs가 존재한다.
• MILP 인스턴스에 무작위 특징을 추가하면, 일반적인 MILPs에 대해서도 타당성과 최적 해의 신뢰성 있는 근사를 GNNs가 달성할 수 있다.
• 수치 실험 결과, 무작위 특징을 갖춘 GNNs는 잘 일반화됨을 보여주며, 타당성 예측의 테스트 오차는 10개의 훈련 샘플에서 0.289에서 1000개의 훈련 샘플로 증가할 때 0.022로 감소하고, 최적 목표값의 오차는 5.9e-3에서 1.1e-6로 감소한다.
• 최적 해 예측의 경우, 1000개의 훈련 샘플로 구성된 조건에서 테스트 오차가 0.21 이하로 유지되어 무작위 특징 설정 하에서 강력한 일반화 성능을 보인다.