[论文解读] Data-Driven Sample Average Approximation with Covariate Information

Rohit Kannan, Güzi̇n Bayraksan+1 more|arXiv (Cornell University)|Jul 27, 2022

Risk and Portfolio Optimization被引用 22

一句话总结

本文将带有协变量的预测模型嵌入到数据驱动的 SAA，用于条件随机规划，提出 ER-SAA 及两个 leave-one-out 变体，具备收敛性保证和实证验证。

ABSTRACT

We study optimization for data-driven decision-making when we have observations of the uncertain parameters within the optimization model together with concurrent observations of covariates. Given a new covariate observation, the goal is to choose a decision that minimizes the expected cost conditioned on this observation. We investigate three data-driven frameworks that integrate a machine learning prediction model within a stochastic programming sample average approximation (SAA) for approximating the solution to this problem. Two of the SAA frameworks are new and use out-of-sample residuals of leave-one-out prediction models for scenario generation. The frameworks we investigate are flexible and accommodate parametric, nonparametric, and semiparametric regression techniques. We derive conditions on the data generation process, the prediction model, and the stochastic program under which solutions of these data-driven SAAs are consistent and asymptotically optimal, and also derive convergence rates and finite sample guarantees. Computational experiments validate our theoretical results, demonstrate the potential advantages of our data-driven formulations over existing approaches (even when the prediction model is misspecified), and illustrate the benefits of our new data-driven formulations in the limited data regime.

研究动机与目标

• 在协变量告知不确定参数的分布时，激励基于数据的决策制定。
• 开发利用回归预测和残差的数据驱动 SAA 框架。
• 为所提出的方法建立理论保证（一致性、渐近最优性、收敛速率）。
• 引入并分析基于 jackknife 的变体，以在数据有限时提升性能。
• 展示在参数、非参数和半参数回归设定中的适用性。

提出的方法

• 将 Y 表示为 Y = f*(X) + Q*(X)ε，其中协变量为 X，随机误差为 ε。
• 给出并比较 FI-SAA、ER-SAA，以及两种基于 jackknife 的 SAA 变体用于情景生成。
• 利用回归估计 f* 和 Q*，并构建基于残差的情景为 c(z, 投影到 f-hat(X) + Q-hat(X)ε-hat 的值)。
• 将投影引入 Y-支持域以确保情景的可行性，并讨论通过 jackknife 修正进行可选降噪。
• 在温和假设下给出收敛性、速率和有限样本保证的分析；以两阶段线性规划作为运行示例。
• 展示使用参数、非参数和半参数回归技术的灵活性（如 OLS、Lasso、kNN、RF）。

实验结果

研究问题

• RQ1 协变量信息如何用于近似条件随机规划的解？
• RQ2 何时 ER-SAA 及其 jackknife 变体能给出渐近最优且一致的解？
• RQ3 带协变量的数据驱动 SAA 的收敛速率和有限样本保证是什么？
• RQ4 参数回归与非参数回归的选择如何影响理论保证和实际表现？
• RQ5 该框架能否适应异方差误差结构并仍然给出可行解？

主要发现

• 在温和假设下，ER-SAA 实现渐近最优性和收敛性保证。
• 留一法残差变体（J-SAA 和 J+-SAA）在小样本情形下提供潜在改进。
• 该框架支持包括 OLS、Lasso、kNN 和 RF 在内的广泛预测模型，并考虑异方差。
• 投影到 Y-支持域有助于保持情景的可行性，同时不牺牲理论保证。
• 实证实验验证理论结果，并在模型错误设定下仍显示相对于现有方法的提升。