[論文レビュー] Predict-then-Calibrate: A New Perspective of Robust Contextual LP

Chunlin Sun, Linyu Liu+1 more|arXiv (Cornell University)|May 25, 2023

Risk and Portfolio OptimizationDecision Sciences被引用数 3

ひとこと要約

本稿は、予測と不確実性の補正を分離することで、柔軟なオフザシェル機械学習モデルの使用を可能にするとともに理論的ロバスト性保証を提供する、ロバストな文脈的線形計画法のための予測次第で補正するパラダイムを導入する。リスクセンシティブおよび分布ロバスト最適化の両方において、一般化境界と収束速度の向上を達成し、実験的検証により、より良い予測または補正部品による性能向上が確認されている。

ABSTRACT

Contextual optimization, also known as predict-then-optimize or prescriptive analytics, considers an optimization problem with the presence of covariates (context or side information). The goal is to learn a prediction model (from the training data) that predicts the objective function from the covariates, and then in the test phase, solve the optimization problem with the covariates but without the observation of the objective function. In this paper, we consider a risk-sensitive version of the problem and propose a generic algorithm design paradigm called predict-then-calibrate. The idea is to first develop a prediction model without concern for the downstream risk profile or robustness guarantee, and then utilize calibration (or recalibration) methods to quantify the uncertainty of the prediction. While the existing methods suffer from either a restricted choice of the prediction model or strong assumptions on the underlying data, we show the disentangling of the prediction model and the calibration/uncertainty quantification has several advantages. First, it imposes no restriction on the prediction model and thus fully unleashes the potential of off-the-shelf machine learning methods. Second, the derivation of the risk and robustness guarantee can be made independent of the choice of the prediction model through a data-splitting idea. Third, our paradigm of predict-then-calibrate applies to both (risk-sensitive) robust and (risk-neutral) distributionally robust optimization (DRO) formulations. Theoretically, it gives new generalization bounds for the contextual LP problem and sheds light on the existing results of DRO for contextual LP. Numerical experiments further reinforce the advantage of the predict-then-calibrate paradigm in that an improvement on either the prediction model or the calibration model will lead to a better final performance.

研究の動機と目的

• リスクセンシティブおよびロバスト最適化の文脈における、従来のエンドツーエンドまたは密結合手法の限界に対処すること。
• 予測と不確実性の補正を分離することで、機械学習モデルの選択に制限を設けず、ロバスト性の独立した理論的分析を可能にすること。
• 非パラメトリック回帰のツールを用いて、ロバストおよび分布ロバスト文脈的線形計画法の一般化境界を導出すること。
• 予測または補正の改善が最終意思決定品質を直接向上させることを理論的および実験的に証明すること。
• リスクセンシティブおよび分布ロバストな定式化を、単一で柔軟なアルゴリズム的パラダイムで統合すること。

提案手法

• 2段階のパラダイムを提案：まず、下流のロバスト性を考慮しない予測モデルを説明変数で訓練し、次に不確実性の補正を適用する。
• データ分割を用いて、リスクおよびロバスト性に関する理論的保証が予測モデルの選択に依存しないことを保証する。
• 不確実性補正法を用いて、説明変数の下での目的関数係数の分布を推定し、ロバスト最適化を可能にする。
• 非パラメトリック回帰技術とカバー数の議論を用いて、ロバスト文脈的線形計画問題の一般化境界を導出する。
• データサイズTが増加する条件下で、最適解への収束を保証する意思決定を出力するアルゴリズムを設計する。
• 最適性ギャップの収束速度を $ T^{-s/(2s+2d)} \log T $ のオーダーで確立し、モデルおよびデータパラメータに明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 文脈的線形計画法における予測と不確実性の補正を分離することで、予測モデルの選択を制限せずにロバスト性を向上させることができるか？
• RQ2 予測モデルのアーキテクチャに依存しない、ロバスト性および一般化の理論的保証をどのように導出できるか？
• RQ3 ロバスト文脈的線形計画法における予測次第で補正フレームワーク下での最適性ギャップの収束速度は何か？
• RQ4 予測次第で補正パラダイムは、エンドツーエンドまたは統合的アプローチと比較して、性能および柔軟性においてどのように異なるか？
• RQ5 同じフレームワークをリスクセンシティブおよび分布ロバスト最適化の両方の定式化に適用可能か？

主な発見

• 予測次第で補正フレームワークは、最適性ギャップに対して $ O(T^{-s/(2s+2d)} \log T) $ の収束速度を達成し、データ次元および滑らかさパラメータに明示的な依存関係を示す。
• データ分割のおかげで、ロバスト性および一般化の理論的保証が予測モデルに依存しないため、任意のオフザシェル機械学習モデルの使用が可能になる。
• 実験的結果は、予測モデルまたは補正法の改善が、最終的意思決定性能の向上に寄与することを確認している。
• 非パラメトリック回帰のツールを用いて、分布ロバスト文脈的線形計画法のための新しい一般化境界を提供する。
• 予測モデルに構造的制約を課さず、データに対して強いパラメトリック仮定をしないまま、良好なカバレッジとロバスト性を達成する。
• 最小限の仮定の下で収束速度を導出し、モデルの複雑さ、データ範囲、滑らかさに依存する明示的な定数を示している。