[論文レビュー] Branch and Bound in Mixed Integer Linear Programming Problems: A Survey of Techniques and Trends

Lingying Huang, Xiaomeng Chen+5 more|arXiv (Cornell University)|Nov 5, 2021

Scheduling and Optimization Algorithms参考文献 105被引用数 16

ひとこと要約

本調査は、混合整数線形プログラミング（MILP）における分枝限定法（B&B）の高速化を目的とした機械学習技術をレビューし、分枝変数選択、ノード選択、 pruning、カット平面生成の4つの主要なコンponentsに焦点を当てる。特に、十分な訓練と問題固有の初期化が行われた場合、教師あり、教師なし、強化学習が、従来のヒューリスティック規則を上回る意思決定ポリシーを学習することで、B&Bの高速化を顕著に実現できることを示している。

ABSTRACT

In this paper, we surveyed the existing literature studying different approaches and algorithms for the four critical components in the general branch and bound (B&B) algorithm, namely, branching variable selection, node selection, node pruning, and cutting-plane selection. However, the complexity of the B&B algorithm always grows exponentially with respect to the increase of the decision variable dimensions. In order to improve the speed of B&B algorithms, learning techniques have been introduced in this algorithm recently. We further surveyed how machine learning can be used to improve the four critical components in B&B algorithms. In general, a supervised learning method helps to generate a policy that mimics an expert but significantly improves the speed. An unsupervised learning method helps choose different methods based on the features. In addition, models trained with reinforcement learning can beat the expert policy, given enough training and a supervised initialization. Detailed comparisons between different algorithms have been summarized in our survey. Finally, we discussed some future research directions to accelerate and improve the algorithms further in the literature.

研究の動機と目的

• 混合整数線形プログラミング（MILP）における分枝限定法（B&B）の4つのコアコンponents（分枝変数選択、ノード選択、ノードpruning、カット平面選択）を最適化する既存手法を分析・統合すること。
• 特に教師あり、教師なし、強化学習を含む機械学習技術が、B&Bにおける意思決定をどのように向上させ、解法時間の短縮とギャップ性能の向上を実現するかを評価すること。
• 現在の学習ベースのB&Bアプローチにおける限界、特にオンライン適応性の欠如や時間的・解の品質制約の考慮不足を特定すること。
• 今後の研究方向性、例えばオンラインチューニング、訓練データ要件の低減、非MILP問題（例：共同双一次計画問題）への応用を検討すること。

提案手法

• 本論文は、B&Bアルゴリズムの4つの重要なコンponents（分枝変数選択、ノード選択、ノードpruning、カット平面選択）に焦点を当てた、B&Bアルゴリズムに関する文献を包括的に調査する。
• 熟練者ポリシーを模倣する教師あり学習手法を評価し、手動でのアルゴリズム設計を回避して最適な意思決定ルールを近似する。
• 問題特徴に基づいて異なるB&B戦略を動的に選択する教師なし学習技術を検討する。
• B&B性能を最適化するように訓練された強化学習モデルを分析し、十分な訓練と教師あり初期化が行われた場合、熟練者設計ポリシーを上回る性能を示すことを示す。
• 異なるMILP問題ファミリーおよび訓練パラダイムにおけるアルゴリズム性能の詳細な比較を含む。
• 非MILP問題（例：共同双一次制約付き計画問題）への分析を拡張し、これらの分野においても学習ベースの高速化が可能である可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、混合整数線形プログラミング問題における分枝限定法の性能をどのように向上させ得るか？
• RQ2 分枝やノード選択などのB&Bコンponents最適化において、教師あり、教師なし、強化学習の相対的な利点は何か？
• RQ3 学習ベースのポリシーは、手動で設計されたヒューリスティックを上回ることができるか？その条件は何か？
• RQ4 現在の学習ベースのB&Bアプローチにおける主な限界、特に訓練コスト、適応性、時間的・解の品質制約との統合の観点から何が挙げられるか？
• RQ5 学習ベースのB&Bは、共同双一次計画問題のような非MILP問題へどのように拡張できるか？

主な発見

• 教師あり学習手法は、熟練者ルールをよく模倣する意思決定ポリシーを生成できるが、計算速度が著しく向上する。
• 教師なし学習は、問題固有の特徴に基づいてB&B戦略を動的に選択可能にし、多様な問題インスタンスにわたる適応性を高める。
• 十分なデータと教師あり初期化が行われた強化学習モデルは、速度と解の品質の両面で熟練者設計戦略を上回る性能を示す。
• 性能向上にもかかわらず、現在の大多数の学習ベースのアプローチは、すべてのノードを均一に扱い、B&B実行中に生成されるリアルタイム特徴を活用していないため、オンライン最適化の可能性が制限されている。
• 大規模なMILP問題における訓練データの生成にかかる計算コストの低減が、大きな課題のまま残っている。
• 共同双一次計画問題（離散ネットワーク設計で一般的）のような非MILP問題への学習ベースB&Bの拡張は、有望ではあるが、未だ十分に検討されていない研究分野である。