[论文解读] A General Framework for Optimal Data-Driven Optimization

Tobias Sutter, Bart P. G. Van Parys+1 more|arXiv (Cornell University)|Feb 22, 2021

Risk and Portfolio Optimization参考文献 47被引用 12

一句话总结

本文提出了一种统计上最优的数据驱动决策框架，用于随机优化中的决策制定，通过将决策表述为分布鲁棒优化（DRO）模型的解。证明了当参数化模糊集满足一个充分统计量且该统计量满足大偏差原理时，即使数据非独立同分布，最优的数据驱动决策也能最小化样本外风险并控制失望程度。

ABSTRACT

We propose a statistically optimal approach to construct data-driven decisions for stochastic optimization problems. Fundamentally, a data-driven decision is simply a function that maps the available training data to a feasible action. It can always be expressed as the minimizer of a surrogate optimization model constructed from the data. The quality of a data-driven decision is measured by its out-of-sample risk. An additional quality measure is its out-of-sample disappointment, which we define as the probability that the out-of-sample risk exceeds the optimal value of the surrogate optimization model. An ideal data-driven decision should minimize the out-of-sample risk simultaneously with respect to every conceivable probability measure as the true measure is unkown. Unfortunately, such ideal data-driven decisions are generally unavailable. This prompts us to seek data-driven decisions that minimize the out-of-sample risk subject to an upper bound on the out-of-sample disappointment. We prove that such Pareto-dominant data-driven decisions exist under conditions that allow for interesting applications: the unknown data-generating probability measure must belong to a parametric ambiguity set, and the corresponding parameters must admit a sufficient statistic that satisfies a large deviation principle. We can further prove that the surrogate optimization model must be a distributionally robust optimization problem constructed from the sufficient statistic and the rate function of its large deviation principle. Hence the optimal method for mapping data to decisions is to solve a distributionally robust optimization model. Maybe surprisingly, this result holds even when the training data is non-i.i.d. Our analysis reveals how the structural properties of the data-generating stochastic process impact the shape of the ambiguity set underlying the optimal distributionally robust model.

研究动机与目标

• 开发一种在真实概率测度未知的情况下，用于随机优化中构建数据驱动决策的统计最优方法。
• 解决在真实数据生成分布未知时，平衡样本外风险与样本外失望程度的挑战。
• 识别出存在帕累托占优的数据驱动决策的条件，确保在所有可能分布下均具备鲁棒性能。
• 刻画最优决策规则的结构形式，表明其必须源自分布鲁棒优化模型。
• 通过将过程的随机结构与DRO模型中模糊集的形状相联系，将该框架扩展至非独立同分布数据。

提出的方法

• 将数据驱动决策形式化为从训练数据映射到可行动作的函数，其质量通过样本外风险和失望程度来衡量。
• 引入样本外失望程度作为风险超过代理模型最优值的概率，用作风险约束。
• 对失望程度施加约束以确保鲁棒性，从而在未知概率测度上形成帕累托最优性问题。
• 假设真实数据生成测度位于一个具有满足大偏差原理的充分统计量的参数化模糊集中。
• 推导出最优代理模型必须是基于充分统计量和大偏差原理的速率函数的分布鲁棒优化问题。
• 建立最优决策规则可通过求解该DRO模型获得，即使训练数据为非独立同分布。

实验结果

研究问题

• RQ1 在何种条件下，存在同时最小化样本外风险并控制所有未知真实分布下失望程度的数据驱动决策？
• RQ2 潜在随机过程的结构如何影响最优数据驱动决策模型中模糊集的形式？
• RQ3 即使数据非独立同分布，最优数据驱动决策是否仍可表征为分布鲁棒优化问题的解？
• RQ4 大偏差原理在确保所得决策规则的存在性与最优性方面发挥什么作用？
• RQ5 大偏差原理的充分统计量与速率函数如何塑造数据驱动决策的最优DRO模型？

主要发现

• 当真实数据生成测度位于具有满足大偏差原理的充分统计量的参数化模糊集中时，帕累托占优的数据驱动决策存在。
• 最优数据驱动决策始终是基于大偏差原理的充分统计量与速率函数构建的分布鲁棒优化问题的解。
• 只要底层随机过程具有满足大偏差原理的充分统计量，该框架在训练数据为非独立同分布时依然有效。
• 数据生成过程的结构特性直接决定了最优DRO模型中模糊集的形状。
• 样本外失望程度通过构造被限制，确保对分布偏移具有鲁棒性。
• 最优决策规则在模糊集上最小化最坏情况下的样本外风险，在给定约束下实现统计最优性。