[論文レビュー] Hybrid Models for Learning to Branch

Prateek Gupta, Maxime Gasse+4 more|arXiv (Cornell University)|Jun 26, 2020

Topic Modeling参考文献 7被引用数 48

ひとこと要約

本論文は、CPUに優しいハイブリッドアーキテクチャを提案する。ルートノードのグラフニューラルネットワークと高速MLPベースの分岐を組み合わせてMILP解法を高速化し、GPUを用いない状況で、最先端のCPU手法と比べて最大で26%の実行時間短縮を達成する。

ABSTRACT

A recent Graph Neural Network (GNN) approach for learning to branch has been shown to successfully reduce the running time of branch-and-bound algorithms for Mixed Integer Linear Programming (MILP). While the GNN relies on a GPU for inference, MILP solvers are purely CPU-based. This severely limits its application as many practitioners may not have access to high-end GPUs. In this work, we ask two key questions. First, in a more realistic setting where only a CPU is available, is the GNN model still competitive? Second, can we devise an alternate computationally inexpensive model that retains the predictive power of the GNN architecture? We answer the first question in the negative, and address the second question by proposing a new hybrid architecture for efficient branching on CPU machines. The proposed architecture combines the expressive power of GNNs with computationally inexpensive multi-layer perceptrons (MLP) for branching. We evaluate our methods on four classes of MILP problems, and show that they lead to up to 26% reduction in solver running time compared to state-of-the-art methods without a GPU, while extrapolating to harder problems than it was trained on. The code for this project is publicly available at https://github.com/pg2455/Hybrid-learn2branch.

研究の動機と目的

• GPUが利用できない場合の実用的な分岐改善を動機づける。
• ツリーノードのほとんどで安価な計算を用いながら、GNNの利点を維持しつつハイブリッドアーキテクチャを開発する。
• CPUオンリー設定における一般化性能と性能を向上させる訓練プロトコルを調査する。
• 時間短縮とスケーラビリティを示すため、複数のMILP問題クラスで評価する。

提案手法

• ルートノードで構造情報を抽出するGNNを用い、残りのノードで分岐候補を予測するMLPを用いるハイブリッドアーキテクチャを導入する。
• ルートGNN表現を、複数の融合戦略（CONCAT、FiLM、HyperSVM、HyperSVM-FiLM）を用いて安価なノード特徴と組み合わせる。
• 強分岐を専門家として用いた模倣学習をクロスエントロピー損失で訓練する；エンドツーエンド訓練や事前訓練のバリアントを探索する。
• 事前学習済みGNNからの知識蒸留、表現を多様化する補助タスク（EDまたはMHE）、深さ加重損失スキームを用いた訓練を強化する。
• 純粋なGNNから純粋なMLPまでのスペクトルをカバーする、計算コストの異なるいくつかのデータ抽出スキームを提案・比較する。
• 4つのMILPファミリ（Capacitated Facility Location、Combinatorial Auctions、Set Covering、Independent Set）で評価し、時間・ノード数・解の品質を分析する。

実験結果

リサーチクエスチョン

• RQ1 CPUのみのハイブリッドモデルは、MILPの分岐学習においてGPU加速GNNと競合できるか？
• RQ2 ハイブリッドアーキテクチャ（ルートGNNと高速MLP）は、CPU上で純粋なMLPまたは純粋なGNNの性能と同等か、それを上回ることができるか？
• RQ3 エンドツーエンド訓練、知識蒸留、補助タスク、深さ加重などの訓練プロトコルは、一般化と時間効率を改善するか？
• RQ4 提案されたハイブリッド手法のどの問題クラスが最も恩恵を受け、より大規模な問題への外挿はどのように振る舞うか？
• RQ5 異なる融合戦略（CONCAT、FiLM、HyperSVMの派生）の精度と実行時間のトレードオフはどのようになるか？

主な発見

• ハイブリッドモデルは、CPUでのソルバー実行時間を最先端のCPUベースラインと比較して最大で26%削減する。
• GPU推論なしのCPUではGNNのみのアプローチは競争力がなく、ハイブリッド設計の価値を浮き彫りにする。
• FiLMとCONCATの融合戦略は一般に他のハイブリッドを上回り、 HyperSVMベースのハイブリッドはコストは抑えられるが精度が劣る。
• エンドツーエンド訓練、知識蒸留、補助タスク、深さベースの損失重み付けといった訓練プロトコルは、精度の向上とB&Bの性能向上をもたらし、KDは一般化をより良く提供することが多い。
• FiLMベースのハイブリッドモデルは、問題ファミリ全体で非MLベースラインと同等かそれ以上の性能を一貫して発揮し、訓練分布を超えたより難しいインスタンスへの外挿も可能である。