[论文解读] Robust Sample Average Approximation

Dimitris Bertsimas, Vishal Gupta+1 more|arXiv (Cornell University)|Aug 19, 2014

Risk and Portfolio Optimization参考文献 47被引用 11

一句话总结

本文提出鲁棒样本平均近似（Robust SAA），一种数据驱动的优化方法，通过假设检验将样本平均近似（SAA）与分布鲁棒优化（DRO）相结合，确保有限样本性能保证。与标准SAA不同，Robust SAA在保持渐近收敛性和可计算性的同时，提供更强的有限样本界和更稳定的解，优于现有方法，在库存管理和投资组合配置实验中表现更优。

ABSTRACT

Sample average approximation (SAA) is a widely popular approach to data-driven decision-making under uncertainty. Under mild assumptions, SAA is both tractable and enjoys strong asymptotic performance guarantees. Similar guarantees, however, do not typically hold in finite samples. In this paper, we propose a modification of SAA, which we term Robust SAA, which retains SAA's tractability and asymptotic properties and, additionally, enjoys strong finite-sample performance guarantees. The key to our method is linking SAA, distributionally robust optimization, and hypothesis testing of goodness-of-fit. Beyond Robust SAA, this connection provides a unified perspective enabling us to characterize the finite sample and asymptotic guarantees of various other data-driven procedures that are based upon distributionally robust optimization. This analysis provides insight into the practical performance of these various methods in real applications. We present examples from inventory management and portfolio allocation, and demonstrate numerically that our approach outperforms other data-driven approaches in these applications.

研究动机与目标

• 解决标准样本平均近似（SAA）在不确定性数据驱动决策中缺乏有限样本性能保证的问题。
• 克服SAA在小样本或中等样本规模下，特别是在病态或高维设置下的解不稳定问题。
• 开发一种方法，在保持SAA的渐近收敛性和可计算性的同时，增加强有限样本性能保证。
• 通过SAA、分布鲁棒优化与统计拟合优度检验之间的联系，统一数据驱动优化方法的分析框架。
• 通过实证结果表明，Robust SAA在出样本性能和解的稳定性方面优于SAA、2-SAA及其他基于DRO的方法。

提出的方法

• 提出Robust SAA作为SAA的改进形式，将经验分布替换为基于数据驱动不确定性集的分布鲁棒优化（DRO）问题。
• 利用拟合优度假设检验构建分布不确定性集（DUS），确保真实分布F以高概率（1−α）落在该集合内。
• 使用统计检验（如Kolmogorov-Smirnov检验、Cramér-von Mises检验）定义DUS，使得覆盖真实分布的概率至少为1−α。
• 采用锥规划高效求解所得DRO问题，保持对许多常见代价函数的可计算性。
• 将方法性能与底层拟合优度检验的显著性与一致性相联系，支持对有限样本和渐近行为的理论分析。
• 使用自助法（bootstrapping）和重抽样技术，提升有限样本中DRO边界的实际性能与校准精度。

实验结果

研究问题

• RQ1 我们能否设计一种数据驱动优化方法，使其在保持SAA的渐近收敛性和可计算性的同时，提供强有限样本性能保证？
• RQ2 如何系统性地将数据驱动DRO公式的性能与拟合优度检验的统计特性相联系？
• RQ3 不同统计检验方法与不确定性集构建方式对最终优化解的鲁棒性与稳定性有何影响？
• RQ4 Robust SAA在出样本性能与解的方差方面，相较于SAA、2-SAA及其他DRO方法表现如何？
• RQ5 假设检验框架能否用于提升实际应用中基于DRO的决策规则的校准性与可靠性？

主要发现

• Robust SAA以至少1−α的概率实现有限样本性能保证，确保真实出样本代价在高置信度下被有界。
• 在库存管理与投资组合配置问题中，Robust SAA在所有测试样本规模下，均优于SAA与2-SAA，表现出更低的出样本次优性。
• Robust SAA的解方差显著低于其他方法，表明其在投资组合配置中具有更高的稳定性，可降低交易成本风险。
• 基于LCX检验的DRO边界在所有样本规模下均保持接近1的概率有效性，其可靠性优于Delage & Ye（2010）的方法。
• 数据价格（即样本量增加时最优间隙的减小程度）可通过重抽样方法良好近似，验证了自助法在性能估计中的有效性。
• 数值实验表明，Robust SAA收敛至全信息最优解，且保持低波动性，结合了SAA与DRO的优势，同时避免了二者的主要缺陷。