[논문 리뷰] Optimizing over trained GNNs via symmetry breaking

Shiqiang Zhang, Juan S Campos Salazar외 6명|arXiv (Cornell University)|2023. 05. 16.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNN)의 최적화를 위해 대칭성 깨뜨리는 제약 조건을 제안하여, 분기한정법 솔버의 성능을 저해하는 동형 그래프 표현을 제거한다. 이는 이웃 집합의 사전순 정렬을 통한 노드 인덱싱과 한 노드의 고정을 통해 이루어지며, 타당한 해가 존재함과 동시에 해 공간을 극적으로 감소시킨다. 분자 설계 과제에서 MIP 성능이 50–90% 향상됨을 입증하였다.

ABSTRACT

Optimization over trained machine learning models has applications including: verification, minimizing neural acquisition functions, and integrating a trained surrogate into a larger decision-making problem. This paper formulates and solves optimization problems constrained by trained graph neural networks (GNNs). To circumvent the symmetry issue caused by graph isomorphism, we propose two types of symmetry-breaking constraints: one indexing a node 0 and one indexing the remaining nodes by lexicographically ordering their neighbor sets. To guarantee that adding these constraints will not remove all symmetric solutions, we construct a graph indexing algorithm and prove that the resulting graph indexing satisfies the proposed symmetry-breaking constraints. For the classical GNN architectures considered in this paper, optimizing over a GNN with a fixed graph is equivalent to optimizing over a dense neural network. Thus, we study the case where the input graph is not fixed, implying that each edge is a decision variable, and develop two mixed-integer optimization formulations. To test our symmetry-breaking strategies and optimization formulations, we consider an application in molecular design.

연구 동기 및 목표

• 그래프 동형성으로 인한 GNN 최적화의 대칭성 문제를 해결하여 탐색 공간을 증가시키고 수렴 속도를 저하시키는 문제를 해결한다.
• 다양한 GNN 아키텍처에 적용 가능한 일반적인 프레임워크를 개발하여 훈련된 GNN을 최적화한다.
• 대칭성 깨뜨리는 제약 조건이 모든 타당한 해를 제거하지 않도록, 이론적 보장을 갖춘 그래프 인덱싱 알고리즘을 설계한다.
• 분자 설계와 같은 기계학습의 역문제를 해결하기 위해 GNN 기반 최적화 문제를 MIP로 공식화한다.
• 실제 분자 데이터셋에서 두 가지 MIP 공식화 방식—이차형 및 big-M—을 비교하여 성능과 확장성 평가를 수행한다.

제안 방법

• 두 가지 유형의 대칭성 깨뜨리는 제약 조건을 제안한다: (1) 특정 노드를 인덱스 0으로 고정하고, (2) 이웃 집합을 사전순으로 정렬하여 동형성을 깨뜨린다.
• 모든 무방향 그래프에 대해 고유한 인덱스를 노드에 할당하는 그래프 인덱싱 알고리즘을 설계하여, 제안된 제약 조건 하에서 타당성을 보장한다.
• 결과로 얻어진 인덱싱이 대칭성 깨뜨리는 제약 조건을 만족하고, 각 동형성 클래스에서 적어도 하나의 대표를 유지함을 증명한다.
• 최적화 및 기계학습 툴킷(OMLT)을 사용하여 GNN 레이어를 MIP 호환 제약 조건으로 변환하여 표준 MIP 솔버와의 통합을 가능하게 한다.
• GNN 최적화를 위한 두 가지 MIP 공식화 방식—이차형 및 big-M—을 제안하며, 이중 이차형이 더 타당성 있고 확장성이 뛰어나다.
• 분기한정법 탐색의 속도 향상을 위해 대칭성 깨뜨리는 제약 조건을 MIP 공식화에 통합하여 대칭 해의 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 GNN 최적화에 대칭성 깨뜨리는 제약 조건을 체계적으로 적용하여 해 공간을 줄일 수 있으며, 타당한 해를 모두 잃지 않을 수 있는가?
• RQ2 노드 인덱싱과 이웃 집합의 사전순 정렬이 GNN 기반 최적화에서 대칭 해를 얼마나 효과적으로 제거하는가?
• RQ3 훈련된 GNN을 최적화할 때 대칭성 깨뜨리기의 영향이 MIP 솔버 성능에 미치는 영향은 어떠한가?
• RQ4 분자 설계 문제에서 이차형 및 big-M MIP 공식화 방식은 해 품질, 수렴 속도, 확장성 측면에서 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 다양한 GNN 아키텍처로 일반화 가능하며, 실제 역문제인 분자 설계에 적용 가능한가?

주요 결과

• 제안된 대칭성 깨뜨리는 제약 조건은 대칭 해의 수를 감소시켜 QM9 및 ZINC 데이터셋에서 MIP 해 시간에 50–90% 향상 효과를 보였다.
• 이차형 공식화는 특히 더 큰 그래프에서 해 품질과 계산 효율성 측면에서 big-M 공식화를 능가한다.
• QM9 데이터셋의 8노드 그래프에서 대칭성 깨뜨리는 제약 조건(BrS)을 추가하면 평균 MIP 시간이 21,431초에서 5,251초로 최대 80% 감소하였다.
• 그래프 인덱싱 알고리즘은 각 동형성 클래스에 대해 적어도 하나의 타당한 해가 존재함을 보장하여 최적 해의 손실이 없음을 보장한다.
• ZINC 데이터셋에서 이차형+BrS 공식화는 평균 131초(Q1: 115초, Q3: 167초)를 기록하여 big-M+BrS(평균 94초, 하지만 변동성이 더 높음)를 크게 앞서나갔다.
• 이 방법은 효과적으로 확장 가능하다: QM9의 8노드 그래프에서 이차형+BrS 공식화는 평균 시간을 22,300초에서 4,587초로 감소시켜 79% 향상 효과를 보였다.