[論文レビュー] Structural Analysis of Branch-and-Cut and the Learnability of Gomory Mixed Integer Cuts

Maria-Florina Balcan, Siddharth Prasad+2 more|arXiv (Cornell University)|Apr 15, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿は、分枝カット（B&C）アルゴリズムの構造的分析を提供し、機械学習を用いたGomory混合整数（GMI）カットパラメータの最適化を学習するためのサンプル複雑性バウンドを確立する。線形計画法（LP）の解とB&C探索木の変化を多項式分割と幾何的解析によって特徴づけることで、無限個のカット（GMIカットを含む）に対するカット選択の一般化保証を可能にする疑似次元バウンドを導出する。

ABSTRACT

The incorporation of cutting planes within the branch-and-bound algorithm, known as branch-and-cut, forms the backbone of modern integer programming solvers. These solvers are the foremost method for solving discrete optimization problems and thus have a vast array of applications in machine learning, operations research, and many other fields. Choosing cutting planes effectively is a major research topic in the theory and practice of integer programming. We conduct a novel structural analysis of branch-and-cut that pins down how every step of the algorithm is affected by changes in the parameters defining the cutting planes added to the input integer program. Our main application of this analysis is to derive sample complexity guarantees for using machine learning to determine which cutting planes to apply during branch-and-cut. These guarantees apply to infinite families of cutting planes, such as the family of Gomory mixed integer cuts, which are responsible for the main breakthrough speedups of integer programming solvers. We exploit geometric and combinatorial structure of branch-and-cut in our analysis, which provides a key missing piece for the recent generalization theory of branch-and-cut.

研究の動機と目的

• Gomory混合整数カットパラメータの変化が、全体の分枝カット（B&C）探索木にどのように影響するかを理解すること。
• カットパラメータの関数としてのB&Cの内在的複雑性を分析することで、機械学習に基づくカット選択の一般化保証を提供すること。
• 連続的なLP解の変化と離散的な木構造の間の相互作用を分析することで、分枝カットにおける一般化理論のギャップを埋めること。
• 整数計画問題（IP）に分布的仮定を置いた場合に、GMIカットを含む無限個のカット族に適用可能なサンプル複雑性バウンドを導出すること。
• カット選択がB&C性能に与える影響を形式的に定式化し、最適パラメータが異なるインスタンス分布で著しく異なる可能性があることを示すこと。

提案手法

• 制約ベクトルの空間を、2次多項式不等式で定義される境界によって分割し、各領域でLP解が閉形式で表現可能であるようにする。
• これらの領域を跨ぐLP解の変化を追跡することで、カットパラメータの関数としてのB&C探索木の変化を分析する。
• カットパラメータベクトルの集合を、同じB&C木構造を生成するものとして記述する多項式不等式を用いる。$d$次制約の場合、次数は$2dK$で有界である。
• Warrenの定理とMilnor-Thomの定理を適用し、B&C木構造が不変のままとなるパラメータ空間内の連結成分の数をバウンドする。
• 多項式面の数と連結成分の数を用いて、カットパラメータからB&C木のノード数への関数クラスの疑似次元バウンドを確立する。
• Balcanら[6]の主要結果を活用し、B&C木サイズの関数クラスの疑似次元バウンドを$ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $として導出する。

実験結果

リサーチクエスチョン

• RQ1 新しい切り捨て平面が追加される際、LP緩和の解はどのように変化するか。特に、頂点間での不連続なジャンプはどのように生じるか。
• RQ2 切り捨て平面を定義するパラメータの関数として、分枝カット探索木の構造はどのように変化するか。
• RQ3 カットパラメータからB&C木サイズへの写像の内在的複雑性は何か。幾何的・組合せ的ツールを用いてそのバウンドはどのように得られるか。
• RQ4 分枝カットにおける機械学習ベースのカット選択に対して、一般化保証を確立できるか。また、必要なサンプル複雑性は何か。
• RQ5 整数計画問題の分布的差異が、カットパラメータの最適選択にどのように影響するか。形式的に捉えることは可能か。

主な発見

• B&C木構造が不変のままとなるパラメータ空間は、$ 2^{O(n^2)}K^{O(n^3)}(m+2n)^{O(n^3)}\tau^{O(n^3)} $個の領域に分割可能である。
• K個の連続するGMIカットが誘発する異なるB&C木構造の数は、疑似次元$ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $でバウンドされる。
• 同じB&C木を生成するカットパラメータベクトルの集合は、$ O(12^{n(n+1)}n^{2n(n+1)}K^{2n^{2}(n+1)}(m+2n)^{2n^{2}(n+1)}\tau^{5n^{2}(n+1)}) $個の4次多項式不等式の共通部分として記述可能であり、次数は$ 4K^2 $である。
• 解析により、カットパラメータの微小な変化が、LP解の不連続なジャンプによってB&C木に大きな変化をもたらすことが明らかになった。これにより、構造的モデリングに注意が必要である。
• 結果から、最適カットパラメータは分布によって根本的に異なることが示された。例えば、ある分布では$ \mu $を小さくすることが良いが、別の分布では大きな$ \mu $が好ましい。これは、分布に依存するカット学習の必要性を強調する。
• 導出されたバウンドは、未知のIPの分布からのトレーニングセットに適用可能な、任意のカット選択法（最適または部分最適を問わず）に対する一般化保証を提供する。