[論文レビュー] Learning to Branch

Maria-Florina Balcan, Travis Dick+2 more|arXiv (Cornell University)|Mar 27, 2018

Machine Learning and Algorithms参考文献 36被引用数 17

ひとこと要約

本論文は、分枝限定法などの木探索アルゴリズムにおけるパーティショニング手順（例：変数選択）の最適重み付けを自動的に学習する機械学習的手法を提案する。サンプル複雑度の保証を用いることで、サンプルされたインスタンスにおける実効的性能が真の分布における期待性能と密接に一致することを保証し、木のサイズを指数関数的に削減する。理論的厳密性と実用的効果の両方を示している。

ABSTRACT

Tree search algorithms, such as branch-and-bound, are the most widely used tools for solving combinatorial and nonconvex problems. For example, they are the foremost method for solving (mixed) integer programs and constraint satisfaction problems. Tree search algorithms recursively partition the search space to find an optimal solution. In order to keep the tree size small, it is crucial to carefully decide, when expanding a tree node, which question (typically variable) to branch on at that node in order to partition the remaining space. Numerous partitioning techniques (e.g., variable selection) have been proposed, but there is no theory describing which technique is optimal. We show how to use machine learning to determine an optimal weighting of any set of partitioning procedures for the instance distribution at hand using samples from the distribution. We provide the first sample complexity guarantees for tree search algorithm configuration. These guarantees bound the number of samples sufficient to ensure that the empirical performance of an algorithm over the samples nearly matches its expected performance on the unknown instance distribution. This thorough theoretical investigation naturally gives rise to our learning algorithm. Via experiments, we show that learning an optimal weighting of partitioning procedures can dramatically reduce tree size, and we prove that this reduction can even be exponential. Through theory and experiments, we show that learning to branch is both practical and hugely beneficial.

研究の動機と目的

• 木探索アルゴリズムにおける最適なパーティショニング技術（例：変数選択）を選択するための理論的指針の欠如に対処すること。
• インスタンス分布のサンプルに基づいて、既存のパーティショニング手順の最適重み付けを学習する手法を開発すること。
• 木探索アルゴリズム設定における最初のサンプル複雑度の保証を提供し、実効的性能が未観測インスタンスに一般化されることを保証すること。
• ブランチを学ぶことで、木のサイズに顕著な削減が得られ、指数関数的改善が達成されることを示すこと。

提案手法

• 本手法は、インスタンス特徴量と歴史的パフォーマンスに基づいて、各ノードにおける最適なパーティショニング手順（例：どの変数で分岐するか）を予測するモデルを教師あり機械学習で訓練する。
• 設定問題を、既存のパーティショニングヒューリスティクスの重み付き組み合わせとして定式化し、サンプルされたインスタンス上で経験的リスク最小化により最適重みを学習する。
• 理論的分析により、有限のサンプル分布上の実効的性能が真の分布上の期待性能に近いことを保証するサンプル複雑度バインディングを確立する。
• 本フレームワークは汎用的であり、整数プログラミングや制約充足に用いられるあらゆるパーティショニング手順に適用可能である。
• 実世界の問題インスタンスを用いた実験により、学習された重み付けと標準的なヒューリスティクスおよびベースライン設定を比較して検証する。

実験結果

リサーチクエスチョン

• RQ1 真のインスタンス分布における期待性能と近い実効的性能を保証するためには、最小でどの程度のサンプルインスタンス数が必要か？
• RQ2 機械学習は、木探索における複数のパーティショニングヒューリスティクスを組み合わせる最適な重みを効果的に学習できるか？
• RQ3 ブランチを学ぶことで、標準的な分岐戦略と比較して、測定可能な顕著な木のサイズの削減が達成されるか？
• RQ4 特定の条件下で、提案手法が木のサイズを指数関数的に削減できるか？

主な発見

• 提案手法は、特定の問題インスタンスにおいて、標準的な分岐ヒューリスティクスと比較して木のサイズを指数関数的に削減する。
• サンプル複雑度の保証により、真の分布における期待性能を信頼性高く推定するのに十分な有限個のサンプルインスタンスが十分であることが保証される。
• パーティショニング手順の最適重み付けを学習することは、実証的評価により、木探索の効率を劇的に向上させることを示している。
• 本フレームワークは理論的にも的確で、実用的にも効果的であり、多様な組合せ最適化問題において優れた性能を示している。