[論文レビュー] A Machine Learning Approach to Two-Stage Adaptive Robust Optimization

Dimitris Bertsimas, Cheol Woo Kim|arXiv (Cornell University)|Jul 23, 2023

Risk and Portfolio Optimization被引用数 4

ひとこと要約

本稿では、二段階の適応的ロバスト最適化（ARO）問題を、二値の即時意思決定変数と多面体的不確実性集合を伴って高速化する機械学習手法を提案する。列と制約の生成（CCG）を用いて複数のARO問題を事前に解き、最適戦略（即時意思決定、最悪ケースのシナリオ、先送り意思決定）を抽出する。その後、これらの戦略を予測する機械学習モデルを学習させることで、最先端のアルゴリズムと比較して数個のオーダーの高速化を達成しながら、高い正確性を維持する。

ABSTRACT

We propose an approach based on machine learning to solve two-stage linear adaptive robust optimization (ARO) problems with binary here-and-now variables and polyhedral uncertainty sets. We encode the optimal here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the optimal wait-and-see decisions into what we denote as the strategy. We solve multiple similar ARO instances in advance using the column and constraint generation algorithm and extract the optimal strategies to generate a training set. We train a machine learning model that predicts high-quality strategies for the here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the wait-and-see decisions. We also introduce an algorithm to reduce the number of different target classes the machine learning algorithm needs to be trained on. We apply the proposed approach to the facility location, the multi-item inventory control and the unit commitment problems. Our approach solves ARO problems drastically faster than the state-of-the-art algorithms with high accuracy.

研究の動機と目的

• リアルタイム環境における二段階適応的ロバスト最適化（ARO）問題を解く際の高い計算コストに対処すること。
• ARO問題の最適戦略（即時意思決定、最悪ケースのシナリオ、先送り意思決定）を予測する機械学習フレームワークの開発。
• 不確実性集合の実現の組み合わせが爆発的に増加するため、機械学習の学習プロセスにおける異なるターゲットクラスの数を削減すること。
• 施設配置、在庫管理、ユニットコミットメントなどの応用分野において、リアルタイム意思決定が不可欠な状況で、高速かつ近似的に最適な解を得ることを可能にすること。

提案手法

• 本手法は、複数の類似したAROインスタンスを事前に解くために列と制約の生成（CCG）アルゴリズムを用い、それらの最適戦略を抽出して教師あり学習用のデータセットを構築する。
• 機械学習モデルは、最適な即時意思決定、それらの意思決定に対応する最悪ケースのシナリオ、最適な先送り意思決定の3つの要素を予測するように訓練される。
• 高次元の不確実性設定において、一般化性能とモデルの複雑さを改善するために、新たなクラス削減技術が導入されている。
• 最適戦略を、二値の即時意思決定変数、最悪ケースの不確実性実現、連続的な先送り意思決定変数の統合的予測として表現する。
• 事前に解いたAROインスタンスのデータセットを用いてモデルを学習させ、オンライン展開時の高速推論を可能にする。
• 本手法は、施設配置、多品目在庫管理、ユニットコミットメントの3つの実世界問題に対して評価され、ベンチマーク定式化が用いられている。

実験結果

リサーチクエスチョン

• RQ1 機械学習を用いて、二段階適応的ロバスト最適化における完全な最適戦略（即時意思決定、最悪ケースのシナリオ、先送り意思決定）を効果的に予測できるか？
• RQ2 高次元の不確実性集合において、モデルのスケーラビリティと性能を向上させるために、機械学習の予測タスクにおける異なるターゲットクラスの数をどのように削減できるか？
• RQ3 従来の正確なアルゴリズム（例：CCG）と比較して、学習された戦略モデルがARO問題においてどの程度の高速化を達成できるか？
• RQ4 提案手法は、施設配置、在庫管理、ユニットコミットメントといった異なるARO応用分野に一般化可能であり、一貫した性能向上を示せるか？

主な発見

• 提案手法は、二段階ARO問題をミリ秒スケールで解き、最先端のCCGアルゴリズムと比較して数個のオーダーの高速化を達成する。
• 本手法は高い解の正確性を維持しており、全テストインスタンスにおいてCCGで得られた最適解と予測戦略が非常に近い一致を示す。
• クラス削減技術は、特に大規模な不確実性集合を有する問題において、モデルの一般化性能を著しく向上させるとともに、学習の複雑さを低減する。
• 本手法は、関数的先送り意思決定を伴う無限次元のARO問題にまでフレームワークを拡張することで、従来の混合整数凸最適化向け機械学習手法を凌駕する。
• 施設配置、多品目在庫管理、ユニットコミットメント問題における実験的結果から、本手法の強靭性とスケーラビリティが多様な応用分野にわたり確認された。
• モデルは未学習のインスタンスに対しても良好に一般化し、訓練データに含まれない不確実性集合を有するAROインスタンスに対しても、強い一般化性能を示した。