[論文レビュー] Exact Combinatorial Optimization with Graph Convolutional Neural Networks

Maxime Gasse, Didier Chételat+3 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Neural Networks参考文献 30被引用数 224

ひとこと要約

この論文は、MILPのブランチアンドバウンドの変数選択ポリシーを、強分岐を模倣することで学習するグラフ畳み込みニューラルネットワークを導入し、先行ML手法やSCIPのデフォルトルールと比較して性能と一般化能力が優れている。

ABSTRACT

Combinatorial optimization problems are typically tackled by the branch-and-bound paradigm. We propose a new graph convolutional neural network model for learning branch-and-bound variable selection policies, which leverages the natural variable-constraint bipartite graph representation of mixed-integer linear programs. We train our model via imitation learning from the strong branching expert rule, and demonstrate on a series of hard problems that our approach produces policies that improve upon state-of-the-art machine-learning methods for branching and generalize to instances significantly larger than seen during training. Moreover, we improve for the first time over expert-designed branching rules implemented in a state-of-the-art solver on large problems. Code for reproducing all the experiments can be found at https://github.com/ds4dm/learn2branch.

研究の動機と目的

• MILPにおけるブランチアンドバウンドの分岐規則を改善して木のサイズと解決時間を削減する動機付け。
• 自然なMILPの変数-制約の二部グラフを活用して特徴量設計を最小化する。
• 強分岐の決定を模倣する模倣学習ポリシーを訓練する。
• 訓練データより大きいインスタンスへ一般化し、最新のベースラインおよびSCIPのデフォルトルールと比較する。

提案手法

• B&Bの状態を、学習済みノード/エッジ特徴を持つMILP制約と変数の双方向グラフとして表現する。
• 状態を (G, C, E, V) としてエンコードし、変数と制約間で情報を伝搬する二段階の二部グラフ畳み込みを用いる。
• 分岐ポリシーを、マスク付きソフトマックスを介して分数変数上の確率分布を出力するグラフ畳み込みニューラルネットワーク（GCNN）でパラメータ化する。
• クロスエントロピー損失を用いた強分岐エキスパートに対する模倣学習（ビヘイビア・クローン）でポリシーを訓練する。
• 正規化前提（prenormalization）を導入して、正規化されていないGCNNを安定化させ、より大きな問題への一般化を改善する。

実験結果

リサーチクエスチョン

• RQ1 MILP変数-制約の二部グラフ上で動作するGCNNは有効な分岐決定を学習できるか？
• RQ2 模倣学習による分岐ポリシーは、訓練時に見たより大きいMILPインスタンスへ一般化するか？
• RQ3 GCNNベースの分岐は、従来のヒューリスティクスや他のMLベースの分岐手法と、さまざまなNP難の MILP 問題に渡ってどう比較されるか？
• RQ4 一般化と解法効率に影響を与える建築的選択肢（例：プリノームを用いた正規化なし畳み込み）とは何か？

主な発見

• GCNNベースの分岐ポリシーは、ベースラインMLアプローチ（ツリー、svmrank、lmart）およびSCIPのデフォルトRPBを、ほとんどのベンチマークで上回る。
• 学習したポリシーは訓練時より大きいインスタンスへ一般化し、しばしば解法時間とノード数をベースラインより削減する。
• いくつかのベンチマークで、GCNNは人間設計とMLベースのルールの最先端よりも速い解法時間と少ないB&Bノードを達成するが、問題クラスによって結果は異なる。
• 強分岐エキスパートは依然として実用的でないほど遅い一方、GCNNは実用的な代替手段を提供し競合する性能を示す。
• アブレーション研究は、提案された prenorm アプローチと未正規化畳み込みが、特に大規模インスタンスでより良い性能を示すことを示している。