[論文レビュー] Warm-starting constraint generation for mixed-integer optimization: A Machine Learning approach

Asunción Jiménez-Cordero, Juan M. Morales+1 more|arXiv (Cornell University)|Mar 24, 2021

Constraint Satisfaction and Optimization被引用数 4

ひとこと要約

本稿では、混合整数線形プログラミング（MILP）における制約生成のための機械学習を活用したウォームスタート戦略を提案する。ここでは、過去のMILPインスタンスから事前に学習された不変制約集合（結合制約および重要な非結合制約を含む）を用いて、オンライン最適化を初期化する。この手法は最適性と妥当性の保証を維持しながら、オンラインでの解法時間を最大60%短縮し、k=5の条件下で93%のユニットコミットメントテストケースで1反復目で最適解を達成する。

ABSTRACT

Mixed Integer Linear Programs (MILP) are well known to be NP-hard (Non-deterministic Polynomial-time hard) problems in general. Even though pure optimization-based methods, such as constraint generation, are guaranteed to provide an optimal solution if enough time is given, their use in online applications remains a great challenge due to their usual excessive time requirements. To alleviate their computational burden, some machine learning techniques (ML) have been proposed in the literature, using the information provided by previously solved MILP instances. Unfortunately, these techniques report a non-negligible percentage of infeasible or suboptimal instances. By linking mathematical optimization and machine learning, this paper proposes a novel approach that speeds up the traditional constraint generation method, preserving feasibility and optimality guarantees. In particular, we first identify offline the so-called invariant constraint set of past MILP instances. We then train (also offline) a machine learning method to learn an invariant constraint set as a function of the problem parameters of each instance. Next, we predict online an invariant constraint set of the new unseen MILP application and use it to initialize the constraint generation method. This warm-started strategy significantly reduces the number of iterations to reach optimality, and therefore, the computational burden to solve online each MILP problem is significantly reduced. Very importantly, all the feasibility and optimality theoretical guarantees of the traditional constraint generation method are inherited by our proposed methodology. The computational performance of the proposed approach is quantified through synthetic and real-life MILP applications.

研究の動機と目的

• オンライン応用におけるMILPの解法にかかる計算負荷の高さに対処すること。伝統的な制約生成法では、これほどに遅いため。
• 先行する機械学習手法が重要な非結合制約を無視するという限界を克服すること。これにより、部分最適解や非妥当解が生じる。
• 古典的な制約生成法が持つ理論的最適性と妥当性の保証を維持しながら、収束を加速する手法を開発すること。
• 過去の問題インスタンスから得た不変制約集合を学習・再利用することで、MILPのオンライン解法を高速化すること。
• 結合制約のみでなく、制約の構造的知識を組み込むことで、MILPにおける機械学習モデルの予測性能を向上させること。

提案手法

• 過去の各MILPインスタンスについて、最適性を保持するために必須となる最小の制約集合（不変制約集合）をオフラインで特定する。
• 右辺値などの問題パラメータに基づいて、不変制約集合を予測する機械学習モデル（例：k-NNまたは$σ$-ラーナー）を訓練する。
• 予測された不変制約集合を、未観測の新しいMILPインスタンスにおける制約生成アルゴリズムのウォームスタートとして使用する。
• 学習された初期セットから制約生成を開始し、最適性に達するまで、違反している制約を繰り返し追加する。
• 不変集合が解における活性制約だけでなく、最適性に不可欠な非結合制約を含むことを利用している。
• 元の制約生成法から引き継がれる妥当性と最適性の理論的保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、履歴データに基づいて、新しいMILPインスタンスの不変制約集合を効果的に予測できるか？
• RQ2 学習された不変制約集合をウォームスタートとして使用することで、制約生成における反復回数が著しく減少するか？
• RQ3 提案手法は、MILPのオンライン解法を高速化しつつも、最適性と妥当性の保証を維持できるか？
• RQ4 従来の制約生成法および非結合制約を無視する機械学習手法と比較して、本手法の性能はどのように異なるか？
• RQ5 不変集合の予測精度と、ユニットコミットメントのような実世界の応用における解法時間短縮の相関関係はどの程度か？

主な発見

• 提案手法はユニットコミットメント問題において、オンライン解法時間を元のMILP時間の約40%にまで短縮し、顕著な高速化を達成した。
• k=5の条件下で、93%のユニットコミットメントインスタンスで、不変制約集合の正確な予測のおかげで1反復目で最適解が得られた。
• k=100のとき、ほぼ100%の問題で1反復目で最適解に到達し、高い予測精度とロバストネスを示した。
• 非結合制約を無視するベースライン手法とは異なり、本手法は部分最適解や非妥当解を生じる可能性の低い優れたウォームスタートを提供した。
• 多くの既存の機械学習支援MILP手法とは異なり、完全な最適性と妥当性の保証を維持した。
• 計算負荷が著しく軽減され、本手法は完全な制約生成と同等の結果を、はるかに短い時間で達成した。