[論文レビュー] Learning Cut Selection for Mixed-Integer Linear Programming via Hierarchical Sequence Model

Zhihai Wang, Xijun Li+6 more|arXiv (Cornell University)|Feb 1, 2023

Formal Methods in Verification被引用数 14

ひとこと要約

本論文は、MILPソルバーにおけるカット選択を学習する階層的シーケンスモデル（HEM）を提案し、選択するカットの数と追加する有序サブセットの両方を同時に最適化することで、ソルバーの効率を向上させ、より大きいインスタンスへの良好な一般化を実現します。

ABSTRACT

Cutting planes (cuts) are important for solving mixed-integer linear programs (MILPs), which formulate a wide range of important real-world applications. Cut selection -- which aims to select a proper subset of the candidate cuts to improve the efficiency of solving MILPs -- heavily depends on (P1) which cuts should be preferred, and (P2) how many cuts should be selected. Although many modern MILP solvers tackle (P1)-(P2) by manually designed heuristics, machine learning offers a promising approach to learn more effective heuristics from MILPs collected from specific applications. However, many existing learning-based methods focus on learning which cuts should be preferred, neglecting the importance of learning the number of cuts that should be selected. Moreover, we observe from extensive empirical results that (P3) what order of selected cuts should be preferred has a significant impact on the efficiency of solving MILPs as well. To address this challenge, we propose a novel hierarchical sequence model (HEM) to learn cut selection policies via reinforcement learning. Specifically, HEM consists of a two-level model: (1) a higher-level model to learn the number of cuts that should be selected, (2) and a lower-level model -- that formulates the cut selection task as a sequence to sequence learning problem -- to learn policies selecting an ordered subset with the size determined by the higher-level model. To the best of our knowledge, HEM is the first method that can tackle (P1)-(P3) in cut selection simultaneously from a data-driven perspective. Experiments show that HEM significantly improves the efficiency of solving MILPs compared to human-designed and learning-based baselines on both synthetic and large-scale real-world MILPs, including MIPLIB 2017. Moreover, experiments demonstrate that HEM well generalizes to MILPs that are significantly larger than those seen during training.

研究の動機と目的

• MILPの解法におけるカット選択を重要であると動機づけ、カットの量と順序を無視する既存の学習ベースアプローチの限界を特定する。
• カットの数と順序を共同で学習する階層的強化学習アプローチ（HEM）を提案する。
• 合成データおよび実世界のMILP（MIPLIB 2017を含む）に対してベースラインを上回る実証的利得を示し、より大規模なインスタンスへ良い一般化を示す。

提案手法

• カット選択を2レベルの強化学習問題として定式化する：上位レベルのポリシーがカットの比率（数）を選択し、下位レベルのシーケンスモデルがその数の有序サブセットを選択する。
• 状態を（LP緩和、候補カット、LP最適解）として表現し、候補カットごとに13個の設計特徴を用いる。
• 行動空間を候補カットの全ての有序サブセットとして定義する；上位レベルのポリシーから比率kを最初にサンプリングしてから、N*kの床関数 floor を用いたサイズの有序サブセットをポインタ・ネットワークベースのシーケンスモデルでサンプリングするという階層的ポリシーを導出する。
• 上位レベルのポリシーを tanh-Gaussian 分布でパラメータ化し、状態を LSTM＋MLP で埋め込み、その平均と分散を予測する。
• 下位レベルのポリシーはシーケンスモデル（ポインタネットワーク）で、k長の有序なカットインデックス列を出力する。カット間の相互作用と順序効果を捉えるよう訓練する。
• 階層的ポリシー勾配を用いて訓練し、上位・下位パラメータの勾配についての式を導出し、並列のA3C風トレーニング方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 2レベルの階層構造は、MILP解法の効率を改善するために、選択するカットの数と順序の両方を効果的に学習できるか。
• RQ2 カット間の相互作用を伴うシーケンス問題としてカット選択をモデル化することは、独立したスコアリング手法よりも優れているか。
• RQ3 提案手法は、訓練時に見られたより大きなMILPへどの程度一般化するか。
• RQ4 さまざまなベンチマークで、追加されるカットの順序がソルバーの性能に与える影響はどの程度か。
• RQ5 MIPLIB 2017のインスタンスのような現実の大規模MILPを扱えるか。

主な発見

• HEMは、人工設計および学習ベースのベースラインを、合成データおよび実世界のMILP（MIPLIB 2017ベンチマークを含む）で解法効率の点で大幅に上回る。
• 選択したカットの順序はソルバーの効率に著しい影響を与え、選択するカット数の比率も影響力を持つ。
• HEMは易・中・難データセット全体で強い改善を達成し、訓練時より大きいMILPへ一般化する。
• SBPおよび他のベースラインと比較して、HEMは複数のベンチマークで primal-dual gap integral (PD integral) と解決時間の顕著な低減を示す。
• 大規模な実世界の生産計画問題を用いた実験は、現代のMILPソルバーにHEMを展開する実用的な利点を示している。