[论文解读] Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus Sample Average Approximation: A Stochastic Dominance Perspective

Adam N. Elmachtoub, Henry Lam+2 more|arXiv (Cornell University)|Apr 13, 2023

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文在数据驱动的随机优化中比较了估计-然后-优化（ETO）、集成估计-优化（IEO）和样本平均近似（SAA）。基于后悔的首阶随机优势，结果表明：当模型设定正确且数据充足时，ETO 渐近地优于 IEO，而 IEO 又优于 SAA —— 这一结果与模型设定错误时的典型性能排序相反。

ABSTRACT

In data-driven stochastic optimization, model parameters of the underlying distribution need to be estimated from data in addition to the optimization task. Recent literature considers integrating the estimation and optimization processes by selecting model parameters that lead to the best empirical objective performance. This integrated approach, which we call integrated-estimation-optimization (IEO), can be readily shown to outperform simple estimate-then-optimize (ETO) when the model is misspecified. In this paper, we show that a reverse behavior appears when the model class is well-specified and there is sufficient data. Specifically, for a general class of nonlinear stochastic optimization problems, we show that simple ETO outperforms IEO asymptotically when the model class covers the ground truth, in the strong sense of stochastic dominance of the regret. Namely, the entire distribution of the regret, not only its mean or other moments, is always better for ETO compared to IEO. Our results also apply to constrained, contextual optimization problems where the decision depends on observed features. Whenever applicable, we also demonstrate how standard sample average approximation (SAA) performs the worst when the model class is well-specified in terms of regret, and best when it is misspecified. Finally, we provide experimental results to support our theoretical comparisons and illustrate when our insights hold in finite-sample regimes and under various degrees of misspecification.

研究动机与目标

• 在模型设定正确的情况下，理论比较数据驱动随机优化中的 ETO、IEO 和 SAA。
• 研究当模型类包含真实分布时，IEO 的计算成本是否由性能提升所合理化。
• 利用随机优势分析每种方法的渐近后悔分布，重点关注解的质量而非仅矩。
• 阐明在何种条件下，更简单的 ETO 可以优于更复杂的 IEO，尤其是在上下文和约束优化中。
• 为在后悔分布层面比较数据驱动优化方法提供一个原则性的统计框架。

提出的方法

• 使用首阶随机优势比较 ETO、IEO 和 SAA 的完整后悔分布，而非仅均值或方差。
• 将后悔定义为数据驱动解与真实分布下最优解之间的最优性差距。
• 在模型类包含真实分布且数据充足的前提下，应用渐近分析。
• 推导出 ETO 在后悔分布上严格优于 IEO 的理论条件，尽管 IEO 的设计目标是优化经验性能。
• 将结果扩展至约束和上下文优化问题，需对约束资格条件和渐近正态性施加额外假设。
• 将 SAA 与 ETO 和 IEO 进行比较，表明在模型设定正确时 SAA 表现最差，但在模型设定错误时表现最佳。

实验结果

研究问题

• RQ1 当模型设定正确时，ET O 在何种条件下会在后悔分布上严格优于 IEO？
• RQ2 在模型设定正确与错误之间，ETO、IEO 和 SAA 的性能排序如何变化？
• RQ3 在大样本、模型设定正确的场景下，集成估计-优化（IEO）方法是否相对于 ETO 提供了有意义的优势？
• RQ4 在模型设定正确时，样本平均近似（SAA）与 ETO 和 IEO 在后悔分布上的表现如何比较？
• RQ5 这些基于后悔的比较对实践中选择计算更简单的 ETO 还是更复杂的 IEO 有何启示？

主要发现

• 当模型类覆盖真实分布且数据充足时，ETO 在后悔分布上渐近地严格优于 IEO。
• 在模型设定正确时，IEO 在后悔分布上严格优于 SAA，这与通常认为 SAA 更优的性能排序相反。
• 该随机优势是强的 —— 即 ETO 的整个累积后悔分布均优于 IEO，意味着在所有分位数上都具有更好的泛化能力。
• 在标准正则性条件下，该优势在无约束和有约束的上下文优化问题中均成立。
• 在有限样本中，ET O 对 IEO 的理论优势在中等程度的模型设定错误下依然成立，但随着错误程度增加而失效。
• 在模型设定正确时，SAA 的后悔表现最差，但在模型设定错误时反而成为最优，凸显了这一根本性权衡。