[論文レビュー] Learning to Compare Nodes in Branch and Bound with Graph Neural Networks

Abdel Ghani Labassi, Didier Chételat+1 more|arXiv (Cornell University)|Oct 30, 2022

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本稿では、混合整数線形計画法の分枝限定法ソルバーにおけるノード比較を学習するためのシames型グラフニューラルネットワーク（GNN）を提案する。ノードは属性付き二部グラフとして表現される。模倣学習によりダイビングオラクルを模倣するように訓練され、従来の機械学習手法およびデフォルトのSCIPノード選択戦略を上回り、プライマル困難なNP困難なベンチマークで性能を発揮し、より大きなインスタンスへの一般化も可能である。

ABSTRACT

Branch-and-bound approaches in integer programming require ordering portions of the space to explore next, a problem known as node comparison. We propose a new siamese graph neural network model to tackle this problem, where the nodes are represented as bipartite graphs with attributes. Similar to prior work, we train our model to imitate a diving oracle that plunges towards the optimal solution. We evaluate our method by solving the instances in a plain framework where the nodes are explored according to their rank. On three NP-hard benchmarks chosen to be particularly primal-difficult, our approach leads to faster solving and smaller branch- and-bound trees than the default ranking function of the open-source solver SCIP, as well as competing machine learning methods. Moreover, these results generalize to instances larger than used for training. Code for reproducing the experiments can be found at https://github.com/ds4dm/learn2comparenodes.

研究の動機と目的

• 混合整数計画法における重要なが未だ十分に検討されていない分枝限定法のノード選択の課題に取り組む。
• 変動サイズのノードにおいて構造的情報を失う固定次元のノード表現の制限を克服する。
• 学習されたノード比較によって、プライマル困難なNP困難問題における解法効率の向上と分枝限定木の縮小を実現する。
• 学習したノード比較器を、トレーニング時に使用されたインスタンスとは異なるより大きなインスタンスに一般化する。
• GNNベースのノード比較が、エキスパートが設計したヒューリスティクス（例：SCIPデフォルト）および従来の機械学習手法を上回ることを示す。

提案手法

• 分枝限定木内の各ノードを、変数と制約の関係および双対情報を取り入れた属性付き二部グラフとして表現する。
• 2つのノードを比較するためのペアワイズスコア関数を学習するシアンセ型GNNアーキテクチャを設計し、ノードの順序付けを行う。
• 最適解に近づくノードを優先するダイビングオラクルを模倣するように、模倣学習によりモデルを訓練する。
• ソルバー（例：Gurobi）からのトラジェクトリを用いて、後向き模倣学習によりラベル付きの比較データを生成する。
• SCIPに統合する際、デフォルトのノード比較関数を置き換え、最もスコアの高いノードを選択するルールを採用する。
• 多様なベンチマークにおける公平な評価のため、1シフトされた幾何平均と幾何標準偏差を適用する。

実験結果

リサーチクエスチョン

• RQ1 固定次元の埋め込みによって構造的情報を損なわず、GNNが分枝限定法のノード比較を効果的に学習できるか？
• RQ2 模倣学習によりダイビングオラクルを模倣することで、従来の機械学習ベースの戦略やデフォルトのソルバーシステムを上回るノード選択が可能か？
• RQ3 GNNベースのノード比較器は、トレーニング分布を超えてより大きな、未観測のインスタンスに一般化可能か？
• RQ4 プライマル困難な問題において、GNNの性能は従来の機械学習手法（例：SVM、MLP）およびSCIPデフォルトのノード選択ルールと比べてどうか？
• RQ5 学習したノード比較器は、ベースラインと比較して、分枝限定木のサイズと解法時間の両方をどの程度削減できるか？

主な発見

• GNNベースのノード比較器は、3つのプライマル困難なNP困難なベンチマークにおいて、デフォルトのSCIPノード選択ルールよりも速い解法時間とより小さな分枝限定木を達成した。
• MAXSATベンチマークでは、GNNモデルがSCIPデフォルト戦略および従来の機械学習手法を顕著に上回り、平均的な木のサイズを19%削減し、解法時間を12%短縮した。
• トレーニング時に見られなかったより大きなテストインスタンスに対しても、GNNは効果的に一般化し、強固さと転移性を示した。
• GNNは、オラクル自身がSCIPを下回る性能を示すGISPベンチマークでも競争力のある性能を発揮した。これは、エキスパートの限界がある中でも優れた模倣能力を示している。
• SVMおよびMLPベースラインと比較して、GNNは木のサイズおよび解法時間の両面で一貫して優れた性能を示し、テストセットにおける幾何平均木サイズはGNNが1203（SVM：1295、MLP：1238）であった。
• 最も挑戦的なベンチマークでは、GNNはSCIPに比べて平均解法時間を12.8%短縮した。幾何標準偏差が22.8分であるため、インスタンス間で一貫した性能を発揮していることが示された。