[论文解读] The Empirical Likelihood Approach to Quantifying Uncertainty in Sample Average Approximation

Henry Lam, Enlu Zhou|arXiv (Cornell University)|Apr 9, 2016

Risk and Portfolio Optimization参考文献 13被引用 4

一句话总结

本文提出了一种经验似然（EL）方法，用于在数据有限的情况下，通过使用基于Burg-熵散度球的分布鲁棒优化，并利用卡方分位数校准，构建随机优化问题中最优值和最优性差距的有效置信区间（CIs）。该方法实现了渐近有效的覆盖概率，并在有限样本中，尤其是在小样本情形下，优于经典的中心极限定理（CLT）方法。

ABSTRACT

We study the empirical likelihood approach to construct confidence intervals for the optimal value and the optimality gap of a given solution, henceforth quantify the statistical uncertainty of sample average approximation, for optimization problems with expected value objectives and constraints where the underlying probability distributions are observed via limited data. This approach relies on two distributionally robust optimization problems posited over the uncertain distribution, with a divergence-based uncertainty set that is suitably calibrated to provide asymptotic statistical guarantees.

研究动机与目标

• 解决在仅有有限数据时，对样本平均近似（SAA）进行统计不确定性量化的挑战。
• 开发一种严格、分布无关的方法，用于构建给定解的真实最优值和最优性差距的置信区间（CIs）。
• 在不依赖正态性假设或大样本近似的情况下，确保置信区间的渐近覆盖保证。
• 比较EL方法与经典方法（如中心极限定理，CLT）和delta方法在有限样本下的表现。
• 将该框架扩展至同时包含随机约束和确定性约束的问题。

提出的方法

• 将置信界限的构造表述为两个类似于分布鲁棒优化（DRO）的优化问题，其中以经验测度为中心，使用Burg-熵散度球作为不确定性集。
• 利用卡方分位数 $ \chi^{2}_{p+1,\beta} $ 校准散度球的大小，其中 $ p $ 为决策变量的维度，$ \beta $ 为显著性水平。
• 求解一对优化问题：一个在经验似然不确定性集上最大化SAA目标，另一个最小化SAA目标，该不确定性集由散度约束定义。
• 将这两个问题的最优值用作真实最优值置信区间的上限和下限。
• 通过将相同的基于EL的DRO公式应用于最优性差距函数，将框架扩展至最优性差距的估计。
• 采用经验似然原理，在较弱的正则性条件下，确保覆盖概率的渐近有效性。

实验结果

研究问题

• RQ1 经验似然能否用于在数据有限的随机规划中构建最优值的置信区间？
• RQ2 与基于CLT的经典方法相比，EL方法在有限样本下的覆盖概率和区间宽度表现如何？
• RQ3 EL方法能否扩展以量化给定解的最优性差距的不确定性？
• RQ4 在该情境下，通过EL构建的置信区间的渐近有效性具有何种理论依据？
• RQ5 与现有方法相比，该方法在高维或小样本设置下的表现如何？

主要发现

• 经验似然方法的覆盖概率高于CLT方法，尤其在小样本量下（例如，n=10），CLT方法常出现覆盖不足。
• 在投资组合优化问题中，当n=100时，EL方法的覆盖概率为0.74，而CLT方法为0.59，两样本CLT方法为0.64。
• EL方法在最优值上的置信区间比两样本CLT方法更窄，同时保持更高的覆盖概率，表明其效率更高。
• 在最优性差距估计中，EL方法在n=100时达到92%的覆盖概率，优于SRP方法（59%覆盖），尽管区间更宽。
• 随着样本量增加，该方法的覆盖概率持续提升，证实了其渐近有效性。
• 即使在高维问题中，该方法仍保持稳健，尽管收敛速度较慢，需要更多数据才能获得准确的SAA解。