[論文レビュー] Data-Driven Sample Average Approximation with Covariate Information

Rohit Kannan, Güzi̇n Bayraksan+1 more|arXiv (Cornell University)|Jul 27, 2022

Risk and Portfolio Optimization被引用数 22

ひとこと要約

この論文は、共変量を用いて予測モデルをデータ駆動型SAAに埋め込み、条件付き確率最適化問題の ER-SAA と leave-one-out の2つの変種を導入し、収束保証と実証的検証を提供する。

ABSTRACT

We study optimization for data-driven decision-making when we have observations of the uncertain parameters within the optimization model together with concurrent observations of covariates. Given a new covariate observation, the goal is to choose a decision that minimizes the expected cost conditioned on this observation. We investigate three data-driven frameworks that integrate a machine learning prediction model within a stochastic programming sample average approximation (SAA) for approximating the solution to this problem. Two of the SAA frameworks are new and use out-of-sample residuals of leave-one-out prediction models for scenario generation. The frameworks we investigate are flexible and accommodate parametric, nonparametric, and semiparametric regression techniques. We derive conditions on the data generation process, the prediction model, and the stochastic program under which solutions of these data-driven SAAs are consistent and asymptotically optimal, and also derive convergence rates and finite sample guarantees. Computational experiments validate our theoretical results, demonstrate the potential advantages of our data-driven formulations over existing approaches (even when the prediction model is misspecified), and illustrate the benefits of our new data-driven formulations in the limited data regime.

研究の動機と目的

• 共変量が不確定パラメータの分布を情報として提供する場合のデータ駆動型意思決定を動機づける。
• 回帰予測と残差を活用するデータ駆動型SAAフレームワークを開発する。
• 提案手法の理論的保証（一致性、漸近最適性、収束率）を確立する。
• データが限られる場合の性能向上のため、ジャックナイフに基づく変種を導入・解析する。
• パラメトリック、ノンパラメトリック、半パラメトリック回帰設定に跨る適用性を示す。

提案手法

• 共変量 X および乱数誤差 ε を用いて Y を Y = f*(X) + Q*(X)ε とモデル化する。
• シナリオ生成のために FI-SAA、ER-SAA、および2つのジャックナイフベースのSAA変種を定義・比較する。
• 回帰を用いて f* および Q* を推定し、残差ベースのシナリオを c(z, 投影された f̂(X) + Q̂(X)ε̂) として構築する。
• 実現可能なシナリオを保証するために Y-サポートへの射影を取り入れ、ジャックナイフ補正による任意のノイズ除去を検討する。
• 穏やかな仮定の下で収束性・収束率・有限サンプル保証を示す解析を提供し、実行例として二段階LPを扱う。
• パラメトリック、ノンパラメトリック、半パラメトリック回帰技法（例：OLS、Lasso、kNN、RF）を用いる柔軟性を示す。

実験結果

リサーチクエスチョン

• RQ1 共変量情報を用いて条件付き確率最適化問題の解を近似するにはどうすればよいか。
• RQ2 ER-SAA およびそのジャックナイフ変種は、いつ漸近的に最適で一貫した解を導くのか。
• RQ3 共変量を用いたデータ駆動型SAAの収束率と有限サンプル保証はどのようになるか。
• RQ4 パラメトリックとノンパラメトリック回帰の選択は、理論的保証と実用性能にどのような影響を与えるか。
• RQ5 ヘテロスケダスティック誤差構造を許容しても、枠組みは解法性を保てるか。

主な発見

• ER-SAA は穏やかな仮定の下で漸近最適性と収束保証を達成する。
• leave-one-out 残差変種（J-SAA および J+-SAA）は小サンプル領域での改善の可能性を提供する。
• 本フレームワークは、OLS、Lasso、kNN、RF を含む広範な予測モデルに対応し、ヘテロスケダスティック性を考慮する。
• Y-サポートへの射影はシナリオを実現可能に保ちつつ、理論的保証を損なわない。
• 実証実験は理論的結果を検証し、モデルのミススペック時でも既存手法より利得を示す。