[論文レビュー] Accelerating Primal Solution Findings for Mixed Integer Programs Based on Solution Prediction

Jian-Ya Ding, Chao Zhang+5 more|arXiv (Cornell University)|Jun 23, 2019

Vehicle Routing Optimization Methods参考文献 24被引用数 15

ひとこと要約

本稿では、MIP構造の三部グラフ表現を用いて、混合整数計画問題（MIP）における二値変数の解を予測するGCNベースのフレームワークを提案する。予測された安定変数を用いてルート分枝やグローバルカットを生成することで、プライマル解の探索を加速し、8種類のMIP問題タイプを用いたSCIPでの検証により、最適性にほとんど影響を与えることなく解の探索を10倍高速化した。

ABSTRACT

Mixed Integer Programming (MIP) is one of the most widely used modeling techniques for combinatorial optimization problems. In many applications, a similar MIP model is solved on a regular basis, maintaining remarkable similarities in model structures and solution appearances but differing in formulation coefficients. This offers the opportunity for machine learning methods to explore the correlations between model structures and the resulting solution values. To address this issue, we propose to represent an MIP instance using a tripartite graph, based on which a Graph Convolutional Network (GCN) is constructed to predict solution values for binary variables. The predicted solutions are used to generate a local branching type cut which can be either treated as a global (invalid) inequality in the formulation resulting in a heuristic approach to solve the MIP, or as a root branching rule resulting in an exact approach. Computational evaluations on 8 distinct types of MIP problems show that the proposed framework improves the primal solution finding performance significantly on a state-of-the-art open-source MIP solver.

研究の動機と目的

• 同じMIPインスタンスを繰り返し解く際のプライマル解探索を、インスタンス間の構造的類似性を活用することで高速化すること。
• グラフ表現学習を用いてMIP定式化構造と解のパターンの相関関係をモデル化すること。
• 問題固有のヒューリスティクスを必要とせず、一般化可能なデータ駆動型手法を開発し、MIPソルバーの性能を向上させること。
• グラフ埋め込みによって暗黙の変数依存関係を捉えることで、二値変数の効率的な解予測を可能にすること。
• 機械学習の予測結果をブランンチアンドバウンズに統合し、新たな分枝ルールまたはグローバルカットを用いて収束を改善すること。

提案手法

• 各MIPインスタンスを、変数、制約、目的関数のノードからなる三部グラフとして表現し、エッジは変数-制約および制約-目的関数の関係を符号化する。
• 構造的特徴と反復近接探索によって生成されたラベルを用いて、MIPインスタンスのデータセット上でグラフ畳み込みネットワーク（GCN）を学習させ、二値変数の値を予測する。
• 反復近接探索法を用いて、複数の妥当解において一貫した値をとる「安定変数」を特定し、学習ラベルを定義する。
• 予測された解を用いて、ローカルブランチ型カットを生成し、これはヒューリスティックな手法としてグローバル不等式として追加されるか、または正確な手法としてルート分枝ルールとして使用される。
• 新しいMIPインスタンスに対しては、三部グラフを構築し、予測結果を用いてMIPソルバーの探索をルートノードで誘導する。
• 最適性ギャップとプライマル解探索時間の指標を用いて性能を評価し、SCIPのデフォルト設定と比較する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化知識を一切用いずに、構造的特徴のみに基づいてMIPにおける安定した二値変数の値を機械学習で予測できるか？
• RQ2 三部グラフ表現は、MIP解の予測において変数の依存関係を効果的に捉えられるか？
• RQ3 予測された解のパターンは、特に繰り返し処理されるインスタンスにおいて、MIPソルバーのプライマル解探索速度を向上させられるか？
• RQ4 予測結果を用いてルート分枝を誘導するかグローバルカットを生成することで、デフォルト戦略に比べて収束が速くなるか？
• RQ5 GCNモデルは、異なるMIP問題のスケールやタイプに一般化して性能を発揮するか？

主な発見

• GCNベースの予測フレームワークは、SCIPのデフォルト設定と比較して、8種類のMIP問題タイプ全体で平均2.28パーセンテージポイントの最適性ギャップ低減を達成した。
• GCN予測によるルート分枝（GCN-E）を用いる正確なアプローチは、類似したMIPインスタンスにおいてプライマル解探索を10倍高速化したが、最適性の証明時間にわずかな妥協が生じたにとどまった。
• モデルは強力な一般化性能を維持した：小規模インスタンスで学習したモデルは、大規模インスタンスに対しても平均予測精度が0.621を維持し、精度低下はやや顕著にとどまった。
• FCNFおよびGA問題タイプでは、GCNモデルが予測精度0.96以上を達成し、明確な変数相関関係を持つ構造的問題において優れた性能を示した。
• グローバルカットを用いるヒューリスティックなアプローチは、プライマルギャップを顕著に低減した—例として、FCNFインスタンスでは7.06%（DEF）から4.78%（GCN-E）に低下した—実用的な高速化が確認された。
• 局所最適性構造を欠く問題、例えばMISやTSPでは、予測精度が0.10未満に低下したため、この手法は問題タイプに依存した構造的依存性を示した。