[論文レビュー] A Survey of Contextual Optimization Methods for Decision Making under Uncertainty

Utsav Sadana, Abhilash Chenreddy+4 more|arXiv (Cornell University)|Jun 17, 2023

Forecasting Techniques and Applications被引用数 16

ひとこと要約

コンテキスト最適化の包括的な調査で、3つの学習と最適化フレームワーク（決定規則最適化、逐次学習と最適化、および統合学習と最適化）とそれらのモデル、訓練方法、理論保証を詳述します。

ABSTRACT

Recently there has been a surge of interest in operations research (OR) and the machine learning (ML) community in combining prediction algorithms and optimization techniques to solve decision-making problems in the face of uncertainty. This gave rise to the field of contextual optimization, under which data-driven procedures are developed to prescribe actions to the decision-maker that make the best use of the most recently updated information. A large variety of models and methods have been presented in both OR and ML literature under a variety of names, including data-driven optimization, prescriptive optimization, predictive stochastic programming, policy optimization, (smart) predict/estimate-then-optimize, decision-focused learning, (task-based) end-to-end learning/forecasting/optimization, etc. Focusing on single and two-stage stochastic programming problems, this review article identifies three main frameworks for learning policies from data and discusses their strengths and limitations. We present the existing models and methods under a uniform notation and terminology and classify them according to the three main frameworks identified. Our objective with this survey is to both strengthen the general understanding of this active field of research and stimulate further theoretical and algorithmic advancements in integrating ML and stochastic programming.

研究の動機と目的

• サイド情報（共変量）が不確実性下の意思決定にどのように情報を与えるかを明らかにする。
• 決定規則最適化、逐次学習と最適化、および統合学習と最適化の間で表記法と用語を統一する。
• 文献全体のモデル、訓練手順、および理論保証を要約する。
• 機械学習と確率的最適化を統合する際の未解決の課題と方向性を強調する。

提案手法

• 共変量と不確実なパラメータを伴うコンテキスト最適化問題を定義する。
• 3つの学習パラダイムを提示する：決定規則最適化、逐次学習と最適化（SLO）、および統合学習と最適化（ILO）。
• 決定規則フレームワーク内の線形、RKHSベース、および非線形決定規則をレビューする。
• ILO内の分布的に頑健な訓練法と代替/微分可能訓練アプローチを検討する。
• アンrolling、暗黙微分、微分可能な代理関数（例：SPO+）による訓練を説明する。
• ポリシー最適化やエンドツーエンド学習など、関連パラダイムとの結びつきを要約する。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト最適化におけるポリシーを学習する主なフレームワークは何で、どのように異なるのか。
• RQ2 異なる決定規則（線形、RKHS、非線形）は文脈情報の下でどのように性能を発揮するか。
• RQ3 予測モデルを下流の最適化目的に最も適合させる訓練パラダイムはどれか。
• RQ4 頑健性と一貫性を含む、これらのコンテキスト最適化手法に対する理論的保証は何か。
• RQ5 機械学習を確率的計画法と統合する際の未解決の理論的・アルゴリズム的課題はどこか。

主な発見

• 3つの主要なフレームワークが特定される：決定規則最適化、逐次学習と最適化（SLO）、および統合学習と最適化（ILO）。
• RKHSベースおよび非線形決定規則は線形ポリシーを超えることができ、いくつかの設定で漸近的最適性を達成する。
• 統合学習は予測精度だけではなく処方上の性能のために予測モデルを直接最適化することを強調する。
• 分布的に頑健な手法とウォッサースタイン基盤のアプローチが、モデルの誤pecificationやデータ変動に対する備えとして検討される。
• 本調査はフレームワークを後悔最小化やエンドツーエンド学習などの関連研究と結びつけ、アンrollingや暗黙微分による訓練を論じる。