[論文レビュー] MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers

Elias B. Khalil, Christopher G. Morris+1 more|ArXiv.org|May 27, 2022

Vehicle Routing Optimization Methods被引用数 5

ひとこと要約

MIP-GNN は、混合整数計画問題を二部グラフとして符号化し、近最適解における変数が 1 となる確率を示す変数バイアスを予測するグラフニューラルネットワークフレームワークである。これにより、MIP ソルバーの意思決定を支援する。本手法は、特徴工学を一切行わずに、多様なバイナリ MILP インスタンスにおいて CPLEX のノード選択とウォームスターティングを顕著に改善する。1つの訓練済みモデルで複数のソルバーコンponentを同時に最適化可能である。

ABSTRACT

Mixed-integer programming (MIP) technology offers a generic way of formulating and solving combinatorial optimization problems. While generally reliable, state-of-the-art MIP solvers base many crucial decisions on hand-crafted heuristics, largely ignoring common patterns within a given instance distribution of the problem of interest. Here, we propose MIP-GNN, a general framework for enhancing such solvers with data-driven insights. By encoding the variable-constraint interactions of a given mixed-integer linear program (MILP) as a bipartite graph, we leverage state-of-the-art graph neural network architectures to predict variable biases, i.e., component-wise averages of (near) optimal solutions, indicating how likely a variable will be set to 0 or 1 in (near) optimal solutions of binary MILPs. In turn, the predicted biases stemming from a single, once-trained model are used to guide the solver, replacing heuristic components. We integrate MIP-GNN into a state-of-the-art MIP solver, applying it to tasks such as node selection and warm-starting, showing significant improvements compared to the default setting of the solver on two classes of challenging binary MILPs.

研究の動機と目的

• MIP ソルバーが手作業で設計されたヒューリスティクスに依存するという限界を是正する。これは、問題分布におけるインスタンス固有のパターンを無視する要因である。
• 近最適解からのデータ駆動型インサイトを活用し、組合せ最適化問題におけるソルバー性能を向上させる。
• 1つの訓練済みモデルを用いて複数の MIP ソルバー部品を同時に改善する汎用的かつ再利用可能なフレームワークを開発する。
• 学習された変数バイアスを、ノード選択、ブランチング、ウォームスターティングといった MIP ソルバーの主要操作に統合する。特徴工学を追加で行わずに行う。
• 1つの MIP-GNN モデルが多様で現実世界のバイナリ MILP インスタンスにわたって有効性と一般化能力を示すことを実証する。

提案手法

• 混合整数線形計画問題（MILP）を、変数ノードと制約ノードからなる二部グラフとして表現する。エッジは非ゼロ係数を示す。
• 近最適解における 1 の成分の平均（変数バイアス）を予測する目的で、教師あり学習でグラフニューラルネットワーク（GNN）を訓練する。
• メッセージ伝達中に残差誤差を組み込むことで、GNN が制約違反や解の妥当性をより的確に捉える能力を向上させる。
• 予測された変数バイアスを用いて MIP ソルバーの意思決定を支援する：分枝カットツリー内のノードを優先順位付けし、ブランチ変数を選択し、丸められた解を用いてウォームスターティングを行う。
• 同じモデルを複数のソルバーコンponentに適用することで、一般化能力を高め、各コンponentごとの訓練オーバーヘッドを削減する。
• 最先端の GNN アーキテクチャ（例：SAGE に EdgeConvolution を適用）を活用し、バイアス予測のためのしきい値設定などのハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 1つのデータ駆動型 GNN モデルが、MIP ソルバー内の複数のヒューリスティクスコンponentを効果的に改善する変数バイアスを予測できるか？
• RQ2 MIP-GNN の性能は、多様なバイナリ MILP インスタンスにおいて、プライマル積分、最適性ギャップ、解の品質という観点で、デフォルトの CPLEX ソルバーと比較してどのように差がつくか？
• RQ3 MIP-GNN モデルが 1 つの問題セットで学習された後、同じ問題クラスに属するがわずかに異なる他の問題セットへ一般化できる程度はどの程度か？
• RQ4 GNN のメッセージ伝達中に残差誤差を組み込むことで、変数バイアス予測の正確性とその後のソルバー支援の質が向上するか？
• RQ5 MIP-GNN は、ノード選択とウォームスターティングの両方の性能を同時に向上させることができるか？これにより、学習済みバイアスのマルチコンponentへの有効性が示せるか？

主な発見

• MIP-GNN は、一般化独立集合問題（GISP）の 10 個のテストセットすべてにおいて、デフォルトの CPLEX よりも顕著にノード選択性能を向上させ、プライマル積分と最適性ギャップを低減した。
• GISP データセットにおいて、MIP-GNN はほぼすべてのケースで終了時の最良解を改善し、大多数のデータセットで最適性ギャップを縮小した。
• 固定コストマルチコモディティネットワークフロー（FCMNF）問題では、ノード選択に MIP-GNN を適用した場合、81% のテストインスタンスでより良い最終解が得られ、62% でプライマル積分が小さくなった。
• MIP-GNN による誘導的ノード選択は、LP緩和によって整数妥当解がより頻繁に発見されるようになった。これは、探索ツリー内の有望な領域をより効率的に探索できたことを示している。
• MIP-GNN の予測値を用いたウォームスターティングは、9 セット中の 6 セットでより良い最終解を達成し、9 セット中の 6 セットで最適性ギャップを縮小した。これは、ウォームスターティング手順を基本的な実装で行ったにもかかわらず顕著な改善であった。
• トランスファーラーニングの実験では、1 つの問題セットで学習した MIP-GNN モデルが他の問題セットへも良好に一般化された。3 セット中の 2 セットで、トランスファーモデルが元のモデルと同等以上に性能を発揮した。