[論文レビュー] A GNN-Guided Predict-and-Search Framework for Mixed-Integer Linear Programming

Qingyu Han, Linxin Yang+6 more|arXiv (Cornell University)|Feb 11, 2023

Vehicle Routing Optimization Methods被引用数 9

ひとこと要約

本論文は、MILPインスタンスの限界変数確率を予測するグラフニューラルネットワークを用い、予測と検索を組み合わせたフレームワークを提案し、その後信頼領域探索を実行して高品質な実現可能解を見つけ、SCIPおよびGurobiに対してプリマルギャップの大幅な改善を達成する。

ABSTRACT

Mixed-integer linear programming (MILP) is widely employed for modeling combinatorial optimization problems. In practice, similar MILP instances with only coefficient variations are routinely solved, and machine learning (ML) algorithms are capable of capturing common patterns across these MILP instances. In this work, we combine ML with optimization and propose a novel predict-and-search framework for efficiently identifying high-quality feasible solutions. Specifically, we first utilize graph neural networks to predict the marginal probability of each variable, and then search for the best feasible solution within a properly defined ball around the predicted solution. We conduct extensive experiments on public datasets, and computational results demonstrate that our proposed framework achieves 51.1% and 9.9% performance improvements to MILP solvers SCIP and Gurobi on primal gaps, respectively.

研究の動機と目的

• 学習ベースの方法のための最適なMILP解を収集する高コストに対処するため、限界確率を予測し、サンプルを解の品質で重み付けする。
• ハードな変数固定ではなく、信頼領域探索を通じて学習済み情報を活用しつつ実現可能性を確保する。
• フレームワークが固定ベースのエンドツーエンド手法と同等またはそれ以上の解を生成できることを示す。
• 既存の最先端ソルバに対して公開MILPベンチマークで性能改善を評価する。

提案手法

• MILPインスタンスを二部グラフとして表現し、グラフニューラルネットワークを適用して二値変数の限界確率 p(x_i=1; M) を予測する。
• GNNを、可行解上の加重対数尤度を最大化する分布学習を介して訓練し、条件付き分布を近似するためのウェイトベースのサンプリング手法を用いる（Equations 3–6）。
• 予測から導出された部分解を中心とする信頼領域を構築し、制約付きの部分問題を解いてほぼ最適な全体解を得る（Algorithm 1 と Equations 7–9）。
• 探索ベースのアプローチが純粋な固定戦略より劣らないことを理論的に保証する（Proposition 1）。
• SCIPとGurobiをソルバとして複数の公開MILPデータセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 GNNにより誘導された限界確率のマッピングが、実現可能領域内で効率的な探索を導き、高品質なMILP解を見つける道を開くか。
• RQ2 予測 marginals の周りの信頼領域探索は、単純な固定ベースのアプローチよりも primal quality と実現可能性の点で優れているか。
• RQ3 predict-and-searchフレームワークを既存のMILPソルバと統合した場合、標準ベンチマークで primal gaps に実証的な利得が得られるか。

主な発見

• フレームワークは tested datasets において SCIP より primal gaps を平均で 51.1% 小さく、Gurobi よりも平均で 9.9% 小さくする。
• Independent Set データセットで特に力を発揮し、いくつかのケースで 10 秒以内に最適解を達成。
• Neural Diving with Selective Net と比較して、predict-and-search アプローチは IP および IS データセットで平均相対 primal gap が少なくとも3倍小さい。
• 信頼領域探索の保証は、固定ベースの部分問題よりも上回る可能性があり、早期の変数固定による実現不能性または最適性の欠如のリスクを低減する。