[論文レビュー] Optimizing over trained GNNs via symmetry breaking

Shiqiang Zhang, Juan S Campos Salazar+6 more|arXiv (Cornell University)|May 16, 2023

Machine Learning in Materials Science被引用数 6

ひとこと要約

本稿では、同型グラフ表現を排除することで分枝限定法ソルバーの性能を向上させるため、訓練済みのグラフニューラルネットワーク（GNN）の最適化にための対称性破壊制約を提案する。ノードを隣接ノード集合の辞書式順序によってインデックス化し、1つのノードを固定することで、妥当な解が存在することを保証するとともに、解空間を著しく削減する。分子設計タスクにおけるMIP性能で50–90％の向上が実証された。

ABSTRACT

Optimization over trained machine learning models has applications including: verification, minimizing neural acquisition functions, and integrating a trained surrogate into a larger decision-making problem. This paper formulates and solves optimization problems constrained by trained graph neural networks (GNNs). To circumvent the symmetry issue caused by graph isomorphism, we propose two types of symmetry-breaking constraints: one indexing a node 0 and one indexing the remaining nodes by lexicographically ordering their neighbor sets. To guarantee that adding these constraints will not remove all symmetric solutions, we construct a graph indexing algorithm and prove that the resulting graph indexing satisfies the proposed symmetry-breaking constraints. For the classical GNN architectures considered in this paper, optimizing over a GNN with a fixed graph is equivalent to optimizing over a dense neural network. Thus, we study the case where the input graph is not fixed, implying that each edge is a decision variable, and develop two mixed-integer optimization formulations. To test our symmetry-breaking strategies and optimization formulations, we consider an application in molecular design.

研究の動機と目的

• グラフ同型性に起因するGNN最適化における対称性の課題に取り組み、探索空間を拡大し収束を遅くする要因を解消する。
• さまざまなGNNアーキテクチャに適用可能な、混合整数プログラミング（MIP）を用いた訓練済みGNNの最適化フレームワークを構築する。
• 対称性破壊制約がすべての妥当解を排除しないようにするため、理論的保証を備えたグラフインデキシングアルゴリズムを構築する。
• GNNベースの最適化問題をMIPとして定式化することで、機械学習における逆問題、たとえば分子設計を可能にする。
• 実世界の分子データセットを用いて、二つのMIP定式化—双線形型とbig-M型—の性能とスケーラビリティを評価する。

提案手法

• 2種類の対称性破壊制約を提案する：(1) 特定のノードをインデックス0として固定し、(2) 隣接ノード集合を辞書式順序で並べ替えることで同型性を破る。
• 任意の無向グラフにおいてノードに一意なインデックスを割り当てるグラフインデキシングアルゴリズムを設計し、提案された制約のもとで妥当性を保証する。
• 得られるインデキシングが対称性破壊制約を満たし、各同型クラスから少なくとも1つの代表を保持することを証明する。
• 最適化と機械学習のためのツールキット（OMLT）を用いてGNN層をMIP互換の制約に変換し、標準MIPソルバーとの統合を可能にする。
• GNN最適化のための2つのMIP定式化—双線形型とbig-M型—を定式化し、前者がよりタイトでスケーラブルであることを示す。
• 分枝限定法の探索を加速するために、対称性破壊制約をMIP定式化に統合する。

実験結果

リサーチクエスチョン

• RQ1 GNN最適化に体系的に対称性破壊制約を適用することで、妥当解の喪失を伴わずに解空間を縮小できるか？
• RQ2 ノードインデキシングと隣接ノード集合の辞書式順序付けは、GNNベース最適化における対称解の排除にどの程度有効か？
• RQ3 訓練済みGNNの最適化において、対称性破壊がMIPソルバーの性能に与える影響は何か？
• RQ4 分子設計問題において、双線形型とbig-M型のMIP定式化は、解の品質、収束速度、スケーラビリティの観点からどのように比較できるか？
• RQ5 提案されたフレームワークは、さまざまなGNNアーキテクチャに一般化可能であり、実世界の逆問題、たとえば分子設計に応用可能か？

主な発見

• 提案された対称性破壊制約により、対称解の数が削減され、QM9およびZINCデータセットにおけるMIPの解法時間に50–90％の改善が得られた。
• 双線形型定式化は、特に大きなグラフにおいて、解の品質と計算効率の両面でbig-M型を上回った。
• QM9データセット（8ノードグラフ）において、対称性破壊制約（BrS）を追加すると、MIP平均時間は21,431秒から5,251秒へと80％まで短縮された。
• グラフインデキシングアルゴリズムは、各同型クラスに対して少なくとも1つの妥当解が存在することを保証しており、最適解の喪失がないことを保証する。
• ZINCデータセットでは、双線形型+BrS定式化が平均131秒（Q1: 115秒、Q3: 167秒）を達成し、big-M+BrS（平均94秒、ただし分散が大きい）を著しく上回った。
• 本手法は効果的にスケーリング可能である：QM9の8ノードグラフにおいて、双線形型+BrS定式化は平均時間を22,300秒から4,587秒へと79％短縮した。