[논문 리뷰] On Representing Linear Programs by Graph Neural Networks

Ziang Chen, Jialin Liu외 3명|arXiv (Cornell University)|2022. 09. 25.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 선형 프로그래밍(LPs)을 표현하고 해결하는 데 그래프 신경망(GNNs)을 사용하기 위한 이론적 기초를 확립하며, 다양한 종류의 LPs에 대해 타당성, 유계성, 최적 해를 신뢰성 있게 예측할 수 있음을 증명한다. 저자들은 Weisfeiler-Lehman 이somorphism 테스트를 활용하여, 서로 다른 LP 인스턴스를 구분하고 정확한 출력으로 매핑할 수 있는 충분한 표현력을 지닌 GNNs를 구축한다. 수치 실험을 통해 타당성 및 해 예측에서 높은 정확도를 보이며 검증된다.

ABSTRACT

Learning to optimize is a rapidly growing area that aims to solve optimization problems or improve existing optimization algorithms using machine learning (ML). In particular, the graph neural network (GNN) is considered a suitable ML model for optimization problems whose variables and constraints are permutation--invariant, for example, the linear program (LP). While the literature has reported encouraging numerical results, this paper establishes the theoretical foundation of applying GNNs to solving LPs. Given any size limit of LPs, we construct a GNN that maps different LPs to different outputs. We show that properly built GNNs can reliably predict feasibility, boundedness, and an optimal solution for each LP in a broad class. Our proofs are based upon the recently--discovered connections between the Weisfeiler--Lehman isomorphism test and the GNN. To validate our results, we train a simple GNN and present its accuracy in mapping LPs to their feasibilities and solutions.

연구 동기 및 목표

• 학습을 통한 최적화(L2O) 분야의 근본적인 열린 문제에 대응하기 위해 그래프 신경망(GNNs)을 사용하여 선형 프로그래밍(LP)을 표현하고 해결하기 위한 이론적 기초를 마련하는 것.
• GNNs가 서로 다른 LP 인스턴스를 구분하고 타당성, 유계성, 최적 해와 같은 정확한 출력으로 매핑할 수 있는 충분한 표현력을 지녔음을 보여주는 것.
• 이론적 주장들을 실증 실험을 통해 검증하여, 단순한 GNN이 합성 데이터에서 핵심 LP 성질과 해를 정확하게 예측할 수 있음을 보여주는 것.
• 특히 순열 불변 문제인 LPs에 대해 이론적 표현력과 실용적 성능 사이의 격차를 메우는 것.

제안 방법

• 저자들은 변수와 제약 조건을 노드로, 제약 조건을 간선으로 하여 LPs를 이원 그래프로 인코딩하는 GNN 아키텍처를 구축하며, 순열 불변성을 유지한다.
• GNNs가 서로 이somorphic가 아닌 그래프 구조(다른 LPs에 대응)를 구분할 수 있음을 증명하기 위해 Weisfeiler-Lehman(WL) 이somorphism 테스트를 이론적 기초로 사용한다.
• GNN은 다층 메시지 전파를 갖추며, 노드 및 간선 특징은 학습 가능한 MLP를 통해 업데이트되고, 최종 예측은 리더아웃 함수를 통해 생성된다.
• 이론적 증명은 GNNs가 충분한 깊이와 너비를 지닐 경우, 타당성, 유계성, 최적 해 예측를 포함한 모든 가측 가능하고 순열 불변 함수를 근사할 수 있음을 바탕으로 한다.
• 합성 LPs를 사용한 수치 실험을 실시하였으며, m=10개의 제약 조건과 n=50개의 변수를 가진 희박한 A 행렬과 무작위 계수를 갖는 LPs를 생성하였다.
• GNN은 Adam 옵timizer를 사용하고 평균 제곱 오차 손실을 적용하여 훈련하였으며, 일반화 성능 평가를 위해 타당성, 목표 값, 해 정확도를 측정하는 지표를 사용하여 미리 보지 않은 테스트 인스턴스에 대한 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 그래프 신경망(GNNs)은 선형 프로그래밍(LP)의 핵심 성질인 타당성과 유계성과 같은 성질을 이론적으로 표현하고 예측할 수 있는가?
• RQ2 GNNs는 서로 다른 LP 인스턴스를 얼마나 잘 구분할 수 있으며, 서로 다른 LPs를 서로 다른 출력으로 매핑할 수 있는가?
• RQ3 유한한 데이터셋에서 훈련된 GNN 모델이 새로운 LP 인스턴스에 대해 얼마나 일반화할 수 있는가? 특히 최적 해 예측에 대해 어느 정도의 일반화 성능를 보이는가?
• RQ4 Weisfeiler-Lehman 이somorphism 테스트에 기반한 GNN의 이론적 표현력은 LP 예측 작업에서 실용적 성능로 어떻게 번역되는가?

주요 결과

• 이론적 분석을 통해 GNNs가 충분한 너비와 깊이를 지닐 경우, 어떤 LP 인스턴스도 높은 정확도로 표현하고 타당성, 유계성, 최적 해를 예측할 수 있음을 증명하였다.
• 저자들은 서로 다른 LPs를 서로 다른 출력으로 매핑할 수 있는 GNN을 구축하였으며, Weisfeiler-Lehman 프레임워크를 통해 GNNs가 비이somorphic인 LP 구조를 구분할 수 있음을 입증하였다.
• 수치 실험에서, 2500개의 샘플로 훈련한 GNN은 타당성 예측에서 훈련 세트에서 0% 오차를 기록하였고, 테스트 세트에서는 오직 17.5%의 오차를 보이며 강력한 일반화 성능을 보였다.
• 최적 목표 값 예측에 있어서, 2500개의 훈련 샘플로 훈련한 GNN은 테스트 세트에서 상대 오차 0.173을 기록하여 우수한 회귀 성능를 보였다.
• 최적 해 예측에 있어서, 2500개의 훈련 샘플로 훈련한 GNN은 테스트 세트에서 상대 오차 0.274를 기록하여 복잡한 해 매핑을 근사할 수 있음을 확인하였다.
• 결과는 훈련 데이터 크기를 늘릴수록 일반화 성능이 향상됨을 보여주며, 더 큰 데이터셋이 GNN이 새로운 LP 인스턴스로의 일반화 능력을 향상시킨다는 것을 시사한다.