[論文レビュー] Predicting Tactical Solutions to Operational Planning Problems under Imperfect Information

Eric Larsen, Sébastien Lachapelle+4 more|arXiv (Cornell University)|Jan 1, 2022

Transportation Planning and Optimization参考文献 36被引用数 31

ひとこと要約

本稿では、不完全情報下における2段階確率的プログラミングにおいて、運用ソリューションの期待戦術的記述（TDOS）を迅速に予測する教師あり機械学習手法を提案する。制御された不確実性を伴う合成的決定論的問題インスタンスのトレーニングデータを用いて深層学習モデルを学習させることで、理論的下限に近い精度でミリ秒スケールの予測を達成し、鉄道積載計画や類似応用分野におけるより迅速な戦術的意思決定を可能にする。

ABSTRACT

This paper offers a methodological contribution at the intersection of machine learning and operations research. Namely, we propose a methodology to quickly predict expected tactical descriptions of operational solutions (TDOSs). The problem we address occurs in the context of two-stage stochastic programming, where the second stage is demanding computationally. We aim to predict at a high speed the expected TDOS associated with the second-stage problem, conditionally on the first-stage variables. This may be used in support of the solution to the overall two-stage problem by avoiding the online generation of multiple second-stage scenarios and solutions. We formulate the tactical prediction problem as a stochastic optimal prediction program, whose solution we approximate with supervised machine learning. The training data set consists of a large number of deterministic operational problems generated by controlled probabilistic sampling. The labels are computed based on solutions to these problems (solved independently and offline), employing appropriate aggregation and subselection methods to address uncertainty. Results on our motivating application on load planning for rail transportation show that deep learning models produce accurate predictions in very short computing time (milliseconds or less). The predictive accuracy is close to the lower bounds calculated based on sample average approximation of the stochastic prediction programs.

研究の動機と目的

• 不完全情報下における2段階確率的プログラミングのオンラインでの2段階運用問題の解法における計算ボトル neck を解決すること。
• 戦術的意思決定に使用するため、運用ソリューションの期待戦術的記述（TDOS）を高速かつ高精度に予測すること。
• オンラインでのシナリオ生成や計算コストの高い2段階問題の繰り返し解法に依存するのを減らすこと。
• 機械学習を用いてNP困難な運用問題の期待解を近似することで、オペレーションズリサーチと機械学習を統合すること。

提案手法

• 不確実な入力（例：コンテナの重量）の制御された確率分布に従って、決定論的運用問題インスタンスをサンプリングすることで大規模なトレーニングデータを生成する。
• 各サンプルインスタンスをオフラインで整数線形プログラミングソルバーを用いて解き、詳細な運用ソリューションを取得する。
• これらのソリューションを統合・部分選択して、コンactなTDOS表現（例：各タイプのコンテナの積載数、使用されたラックカー数）に要約する。
• 入力（1段階変数および不確実特徴）と出力（TDOS）のペアに対して、特に深層順伝播ニューラルネットワークを含む教師あり機械学習モデルをトレーニングする。
• データ生成段階で、欠損または不確実な入力特徴を適切にサンプリング・集約・部分選択する技術を用いる。
• トレーニング済みモデルを用いて、意思決定時に不完全情報下でもリアルタイムで期待TDOSを低遅延かつ高精度に予測する。

実験結果

リサーチクエスチョン

• RQ1 2段階確率的プログラミングにおける不完全情報下で、機械学習モデルは運用ソリューションの期待戦術的記述を正確に予測できるか？
• RQ2 異なる機械学習モデル（例：MLP、ロジスティック回帰、線形回帰）の予測性能は、サンプル平均近似に基づく理論的下限と比べてどうか？
• RQ3 再トレーニングなしで、単純な問題インスタンスで学習したモデルが、より複雑な問題インスタンスに一般化できる程度はどの程度か？
• RQ4 データ生成段階で不確実性処理を組み込むことで、予測のロバスト性と正確性はどのように向上するか？
• RQ5 2段階問題を再計算から解くのと比較して、提案手法はオンライン計算時間を著しく短縮できるか？

主な発見

• 回帰順伝播ニューラルネットワーク（RegMLP）が最も優れた全体的性能を示し、テストデータにおける平均絶対誤差（MAE）は2.372であり、理論的下限に近く、
• 1インスタンスあたり1ミリ秒未満で予測が生成され、1つの決定論的ILPインスタンスを解くのよりも著しく高速であった。
• 単純なインスタンスで学習したモデルは、再トレーニングなしでより複雑なインスタンスに対しても良好に一般化でき、強力な一般化能力を示した。
• この手法の予測正確性は、サンプル平均近似による下限から0.05以内であり、近最適性を示している。
• オンラインでのシナリオ生成や2段階問題の解法計算の必要性が著しく減少し、鉄道積載計画におけるより迅速な戦術的意思決定が可能になった。
• 結果から、本手法は、需要が確率的である車両ルーティング問題など、他の2段階確率的問題へも拡張可能であると示唆される。