[論文レビュー] Sample Complexity of Tree Search Configuration: Cutting Planes and Beyond

Maria-Florina Balcan, Siddharth Prasad+2 more|arXiv (Cornell University)|Dec 6, 2021

Constraint Satisfaction and Optimization被引用数 1

ひとこと要約

この論文は、整数プログラミングの木探索における有効なカット選択ポリシーの学習のための最初のサンプル複雑性バウンドを確立し、シュヴァタル・ゴモリのカットと高度なスコアベースのポリシーをカバーする。さらに、木探索の広範な抽象化へ一般化し、ノード選択および変数選択ポリシーのサンプル効率の良い学習保証を証明する。

ABSTRACT

Cutting-plane methods have enabled remarkable successes in integer programming over the last few decades. State-of-the-art solvers integrate a myriad of cutting-plane techniques to speed up the underlying tree-search algorithm used to find optimal solutions. In this paper we prove the first guarantees for learning high-performing cut-selection policies tailored to the instance distribution at hand using samples. We first bound the sample complexity of learning cutting planes from the canonical family of Chvatal-Gomory cuts. Our bounds handle any number of waves of any number of cuts and are fine tuned to the magnitudes of the constraint coefficients. Next, we prove sample complexity bounds for more sophisticated cut selection policies that use a combination of scoring rules to choose from a family of cuts. Finally, beyond the realm of cutting planes for integer programming, we develop a general abstraction of tree search that captures key components such as node selection and variable selection. For this abstraction, we bound the sample complexity of learning a good policy for building the search tree.

研究の動機と目的

• 整数プログラミングソルバーにおけるカット選択ポリシーの学習における理論的保証の欠如に対処する。
• 複数の波およびカット数を伴う、Chvátal-Gomoryカットを用いたインスタンス分布からの学習のサンプル複雑性バウンドを提供する。
• 複数のスコアリングルールを組み合わせた複合カット選択ポリシーの理論的分析を拡張する。
• カット平面を超えて、ノード選択や変数選択といった木探索の抽象的コンポONENTに一般化する。
• 木探索アルゴリズムにおけるサンプル効率の良いポリシー学習の統一的理論的基盤を確立する。

提案手法

• 制約係数の大きさを考慮に入れた、Chvátal-Gomoryカットの標準的族からのポリシー学習のサンプル複雑性バウンドを導出する。
• 整数プログラミングインスタンスの分布上でのカット選択を、教師あり学習問題としてモデル化する。
• 複数のスコアリングルールを統合する階層的ポリシー学習フレームワークを導入する。
• ノード選択、変数選択、カット生成を相互に依存するコンponentsとして捉える木探索の一般化抽象化を形式化する。
• 統計的学習理論からの一般化バウンドを適用し、この抽象化におけるサンプル複雑性保証を導出する。
• スパarsityおよび制約係数の大きさに依存するようにバウンドをチューニングし、実用的関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Chvátal-Gomoryカットの高パフォーマンスなカット選択ポリシーを学習するために必要な最小サンプル数は何か？
• RQ2 木探索設定において、波の数および1波あたりのカット数がサンプル複雑性にどのように影響するか？
• RQ3 複数のスコアリングルールに基づく複合カット選択ポリシーは、保証されたサンプル効率で学習可能か？
• RQ4 カット選択の理論的枠組みは、木探索の他のコンポONENTへどの程度一般化可能か？
• RQ5 一般化された木探索抽象化における最適なノード選択および変数選択ポリシーを学習するためのサンプル複雑性バウンドは何か？

主な発見

• 本論文は、制約係数の大きさに依存する、Chvátal-Gomoryカット選択ポリシーのための最初のサンプル複雑性バウンドを確立した。
• サンプル複雑性はカット数および波数に対して対数的に増加するため、現実的な条件下でのスケーラビリティが示された。
• 複数のスコアリングルールを組み合わせた複合カット選択ポリシーは、スコアリング関数族の複雑さに依存するサンプル複雑性で学習可能である。
• 理論的枠組みはカット平面を超えてノード選択および変数選択を含むように一般化され、統一的なサンプル複雑性分析を可能にした。
• インスタンス固有の特徴（制約のスパarsityおよび係数の大きさ）に合わせてバウンドを微調整し、実用的適用性が向上した。
• 結果として、データ駆動型最適化における整数プログラミングソルバーへの機械学習の使用を理論的に裏付ける基盤が得られた。