[論文レビュー] From Predictions to Prescriptions in Multistage Optimization Problems

Dimitris Bertsimas, Christopher McCord|arXiv (Cornell University)|Apr 26, 2019

Advanced Bandit Algorithms Research参考文献 14被引用数 24

ひとこと要約

本稿では、k-NN、CART、ランダムフォレストを用いた機械学習予測を意思決定に統合することで、不確実性下におけるマルチステージ最適化のデータ駆動型フレームワークを提案する。k-NNに対して漸近的最適性と有限標本保証を示し、時間的に変化する補助共変数を活用することで、動的在庫およびロットサイズ決定問題において最大15%のコスト削減を達成する。

ABSTRACT

In this paper, we introduce a framework for solving finite-horizon multistage optimization problems under uncertainty in the presence of auxiliary data. We assume the joint distribution of the uncertain quantities is unknown, but noisy observations, along with observations of auxiliary covariates, are available. We utilize effective predictive methods from machine learning (ML), including $k$-nearest neighbors regression ($k$NN), classification and regression trees (CART), and random forests (RF), to develop specific methods that are applicable to a wide variety of problems. We demonstrate that our solution methods are asymptotically optimal under mild conditions. Additionally, we establish finite sample guarantees for the optimality of our method with $k$NN weight functions. Finally, we demonstrate the practicality of our approach with computational examples. We see a significant decrease in cost by taking into account the auxiliary data in the multistage setting.

研究の動機と目的

• 不確実性の分布が未知であるが、不確実性および補助共変数の両方の歴史的データが利用可能なマルチステージ最適化におけるギャップを埋める。
• 不確実性をi.i.d.とみなすが、補助データを無視する伝統的な標本平均近似（SAA）の制限を克服する。
• 予測用の機械学習モデルを動的でマルチステージ問題の実行可能な意思決定ポリシーに変換する統一フレームワークを構築する。
• k-NN重み関数を用いた提案手法の理論的保証（漸近的最適性および有限標本性能）を確立する。
• 在庫制御およびロットサイズ決定問題における計算実験を通じて、本手法の実用的優位性を示す。

提案手法

• 状態、不確実性、意思決定、コスト、遷移関数を備えた動的計画法としてマルチステージ最適化問題を定式化する。
• 不確実性と補助共変数の歴史的サンプルを用いて、価値関数における未知の期待値を経験的平均で置き換える。
• 予測モデル（k-NN、CART、ランダムフォレスト）を統合し、補助共変数の下での不確実性の条件付き分布を推定する。
• 機械学習モデルから導出される重み関数（例：k-NNカーネル重み）を用いて、共変数の類似度に基づき歴史的シナリオに重みを付与する。
• 各段階における補助データに依存するシナリオ重みを用いた、修正されたSAA問題を解くことで意思決定ポリシーを構築する。
• 計算複雑性を低減しつつ解の品質を維持するため、ベースストックポリシーのパrametrizationを用いた近似動的計画法を適用する。

実験結果

リサーチクエスチョン

• RQ1 不確実性の分布が未知である状況において、予測用機械学習モデルをマルチステージ最適化に効果的に統合することで、意思決定の質を向上させられるか？
• RQ2 時間的に変化する補助共変数を組み込む手法は、従来のSAAおよび静的予測に基づく手法と比較して、コストとロバストネスの面でどのように異なるか？
• RQ3 k-NN重み関数を用いたデータ駆動型マルチステージポリシーに対して、具体的に漸近的最適性および有限標本性能という理論的保証を確立できるか？
• RQ4 複数段階にわたり補助データを活用することで、動的在庫およびロットサイズ決定問題における予測外コストはどの程度低減されるか？
• RQ5 非凸的または非線形コスト構造を扱えるように本フレームワークを拡張できるか、計算の実行可能性は維持できるか？

主な発見

• k-NN重み関数を用いた提案手法は、ややきつい正則性条件のもとで有限標本最適性保証を達成し、その性能に対する理論的信頼性を提供する。
• k-NNおよびランダムフォレスト重み関数において、時間的に変化する補助データを活用することで、12段階のロットサイズ決定問題において、SAAおよび静的予測手法と比較して予測外コストがほぼ15%削減される。
• 各段階で補助データを統合する（動的重み関数を用いる）手法は、初期共変数のみを用いる手法に比べて顕著に優れていることが示され、時間的データ統合の価値が裏付けられる。
• ややきつい条件下で、本フレームワークは漸近的に最適であることが保証され、訓練サンプル数が増加するにつれて真の最適ポリシーに収束する。
• ベースストックルールによるポリシーのパrametrizationと変数の数の削減により、大規模問題に対しても計算的に実行可能である。
• 実験的結果から、複数の問題例において一貫したコスト削減が確認され、補助データをマルチステージ意思決定に統合することの実用的影響が検証された。