[論文レビュー] On Representing Mixed-Integer Linear Programs by Graph Neural Networks

Ziang Chen, Jialin Liu+3 more|arXiv (Cornell University)|Oct 19, 2022

Vehicle Routing Optimization Methods被引用数 6

ひとこと要約

本稿は、混合整数線形計画問題（MILPs）に対するグラフニューラルネットワーク（GNNs）の表現的限界を調査し、標準的なGNNsがその表現力の制限により、すべての妥当および非妥当なMILPsを区別できないことを証明している。著者らは、MILPsを展開可能（unfoldable）なインスタンスに制限するか、ランダム特徴量を追加することで、GNNsが所定の精度内で妥当性、最適目的値、最適解を信頼性高く近似できることを示しており、小スケールの数値実験によって検証されている。

ABSTRACT

While Mixed-integer linear programming (MILP) is NP-hard in general, practical MILP has received roughly 100--fold speedup in the past twenty years. Still, many classes of MILPs quickly become unsolvable as their sizes increase, motivating researchers to seek new acceleration techniques for MILPs. With deep learning, they have obtained strong empirical results, and many results were obtained by applying graph neural networks (GNNs) to making decisions in various stages of MILP solution processes. This work discovers a fundamental limitation: there exist feasible and infeasible MILPs that all GNNs will, however, treat equally, indicating GNN's lacking power to express general MILPs. Then, we show that, by restricting the MILPs to unfoldable ones or by adding random features, there exist GNNs that can reliably predict MILP feasibility, optimal objective values, and optimal solutions up to prescribed precision. We conducted small-scale numerical experiments to validate our theoretical findings.

研究の動機と目的

• グラフニューラルネットワーク（GNNs）が、妥当性、最適目的値、最適解といった混合整数線形計画問題（MILPs）の重要な特性を表現できるかどうかを調査すること。
• GNNsが一般のMILPsを表現する際の根本的限界、特に特定の妥当および非妥当なインスタンスを区別できないことの原因を特定すること。
• GNNsが妥当性や最適解といったMILP特性を効果的に近似できる条件を確立すること。
• ランダム特徴量または展開可能構造を用いたGNNによるMILP表現に関する理論的発見を、小スケールの数値実験で検証すること。

提案手法

• MILPsを二部グラフまたは三部グラフとしてモデル化し、GNNsの置換不変性および表現力の優位性を活用する。
• GNNの分離能力を理論的基準としてワイスフェーラー＝レーマン（Weisfeiler-Lehman, WL）テストを用い、MILPインスタンスの区別可能性と関連付ける。
• 「展開可能（unfoldable）なMILPs」という概念を導入する——制約行列の構造が逐次処理が可能であるもので、GNNsが効果的に表現できる。
• MILPインスタンスにランダム特徴量を追加することでGNNの表現力を高め、異なるMILPインスタンスが異なる埋め込みにマッピングされることを保証する。
• 理論的分析により、展開可能またはランダム特徴量の条件下では、GNNsが所定の精度内で妥当性、最適目的値、最適解を近似できることを証明する。
• GNNsに多層パーセプトロン（MLPs）を用いたメッセージパッシングを行い、合成MILPデータセット上でAdamによる最適化と平均二乗誤差損失を用いて学習した小スケールの数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 GNNsは混合整数線形計画問題（MILP）の妥当性を信頼性高く予測できるか？
• RQ2 GNNsは所定の精度内でMILPの最適目的値を近似できるか？
• RQ3 十分な表現力を持つ条件下で、GNNsはMILPの最適解を学習して予測できるか？
• RQ4 MILPsにどのような構造的または特徴量ベースの変更を加えることで、GNNsがその固有の表現限界を克服できるか？

主な発見

• 標準的なGNNsは、ワイスフェーラー＝レーマン（Weisfeiler-Lehman, WL）テストによる上限を受ける表現力の制限のため、すべての妥当および非妥当なMILPインスタンスを区別できない。
• 特定の逐次的構造を持つ「展開可能（unfoldable）なMILPs」に対しては、妥当性、最適目的値、最適解を任意の所定の精度で近似できるGNNsが存在する。
• MILPインスタンスにランダム特徴量を追加することで、一般のMILPsに対してもGNNsが妥当性および最適解の信頼性ある近似を達成できる。
• 数値実験の結果、ランダム特徴量を用いたGNNsは良好な一般化性能を示す：妥当性のテスト誤差は10件の学習データでは0.289から、1000件では0.022に低下し、最適目的値の誤差は5.9e-3から1.1e-6に減少した。
• 最適解予測に関しては、1000件の学習データを用いた場合、テスト誤差が0.21未満を維持しており、ランダム特徴量設定下での強い一般化性能が示された。