[論文レビュー] Lookback for Learning to Branch

Prateek Gupta, Elias B. Khalil+5 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿は、分枝限定木における'ルックバック'現象を特定し、強い分枝法がしばしば親ノードの2番目に良い変数を選択する傾向にあることを明らかにする。GNNに基づく分枝方針の改善のため、著者らはターゲットスムージングと親をターゲットとする(PAT)正則化を提案し、標準ベンチマーク上での分枝限定木のサイズを最大22%、解法時間も最大15%削減する。

ABSTRACT

The expressive and computationally inexpensive bipartite Graph Neural Networks (GNN) have been shown to be an important component of deep learning based Mixed-Integer Linear Program (MILP) solvers. Recent works have demonstrated the effectiveness of such GNNs in replacing the branching (variable selection) heuristic in branch-and-bound (B&B) solvers. These GNNs are trained, offline and on a collection of MILPs, to imitate a very good but computationally expensive branching heuristic, strong branching. Given that B&B results in a tree of sub-MILPs, we ask (a) whether there are strong dependencies exhibited by the target heuristic among the neighboring nodes of the B&B tree, and (b) if so, whether we can incorporate them in our training procedure. Specifically, we find that with the strong branching heuristic, a child node's best choice was often the parent's second-best choice. We call this the "lookback" phenomenon. Surprisingly, the typical branching GNN of Gasse et al. (2019) often misses this simple "answer". To imitate the target behavior more closely by incorporating the lookback phenomenon in GNNs, we propose two methods: (a) target smoothing for the standard cross-entropy loss function, and (b) adding a Parent-as-Target (PAT) Lookback regularizer term. Finally, we propose a model selection framework to incorporate harder-to-formulate objectives such as solving time in the final models. Through extensive experimentation on standard benchmark instances, we show that our proposal results in up to 22% decrease in the size of the B&B tree and up to 15% improvement in the solving times.

研究の動機と目的

• 分枝限定木における親子ノード間の強い分枝意思決定における隠れた依存関係を調査する。
• 学習されたGNN方針と、しばしば親の2番目に良い変数を選択するオракルの強い分枝ヒューリスティックとのギャップを是正する。
• 強い分枝行動に観察される構造的パターンを組み込むことで、GNNベースの分枝方針を改善する。
• 精度だけでなく、解法時間などの実用的目標を最適化するモデル選択フレームワークを構築する。
• ルックバック行動を模倣することで、MILPソルバーにおけるより効率的かつ効果的な分枝方針が得られることを示す。

提案手法

• 『ルックバック』現象の特定：子ノードの最良選択肢が、親ノードの強い分枝法における2番目の最良選択肢と一致することが頻繁に発生する。
• ターゲットスムージングの提案：ルックバックの可能性を反映するために、ターゲット分布をなめらかにすることで交差エントロピー損失を正則化する。
• 親をターゲットとする(PAT)正則化の導入：子ノードにとって最適な場合に、GNNが親の2番目に良い変数を選ばない場合に明示的にペナルティを与える。
• 変数と制約をノードとし、非ゼロ係数に対応するエッジを持つ、MILPの二部グラフ表現上でGNNを学習する。
• ベンチマークMILPインスタンスに対して強い分枝を事前に実行することで、学習ターゲットを収集する。
• 検証精度だけでなく、解法時間と木のサイズに基づいてハイパーパrameterを評価するモデル選択フレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 強い分枝意思決定は、分枝限定木における親子ノード間でどの程度依存関係を示すか？
• RQ2 親の2番目に良い選択肢を子の最良選択肢の代理としてモデル化することで、GNNベースの分枝方針が改善できるか？
• RQ3 損失関数の修正や正則化によるルックバック現象の組み込みが、分枝限定木のサイズと解法時間に顕著な改善をもたらすか？
• RQ4 解法時間を最適化した本稿のモデル選択フレームワークは、標準的な精度ベースの選択と比べてどのように異なるか？
• RQ5 ルックバックパターンは異なるMILPファミリーに一般化可能であり、一貫して性能向上をもたらすか？

主な発見

• ルックバック現象—子ノードの最良選択肢が親ノードの2番目に良い選択肢と一致する—は、ベンチマークファミリー全体で平均して50%以上の確率で発生する。
• 交差エントロピー損失で訓練された標準的なGNNは、このパターンを学習できず、最適なルックバック選択を逃す傾向がある。
• 提案された親をターゲットとする(PAT)正則化により、GNNの性能が顕著に向上し、ベースラインGNNと比較して分枝限定木のサイズが最大22%削減される。
• PAT正則化モデルを用いることで、解法時間は最大15%短縮され、特に解きにくいインスタンスで顕著な改善が得られる。
• 解法時間に基づくモデル選択フレームワークは、より良い一般化性能とテストインスタンスにおける高速収束を実現する。
• 最適性ギャップを最適化しない状況でも、PATモデルは未解決インスタンスでより優れたギャップ性能を達成しており、そのロバスト性が示された。