[论文解读] A Wasserstein distance approach for concentration of empirical risk estimates

L. A. Prashanth, Sanjay P. Bhat|arXiv (Cornell University)|Feb 27, 2019

Risk and Portfolio Optimization被引用 8

一句话总结

本文提出了一种基于Wasserstein距离的统一框架，用于推导两类广泛风险度量——(T1) 和 (T2)——的经验风险估计的集中性界，涵盖CVaR、谱风险度量、CPT等。通过将估计误差与真实分布和经验分布之间的Wasserstein距离关联，该框架在子高斯、亚指数和重尾分布下建立了更紧致且更具普适性的界，优于以往针对特定情况的结果。

ABSTRACT

This paper presents a unified approach based on Wasserstein distance to derive concentration bounds for empirical estimates for two broad classes of risk measures defined in the paper. The classes of risk measures introduced include as special cases well known risk measures from the finance literature such as conditional value at risk (CVaR), optimized certainty equivalent risk, spectral risk measures, utility-based shortfall risk, cumulative prospect theory (CPT) value, rank dependent expected utility and distorted risk measures. Two estimation schemes are considered, one for each class of risk measures. One estimation scheme involves applying the risk measure to the empirical distribution function formed from a collection of i.i.d. samples of the random variable (r.v.), while the second scheme involves applying the same procedure to a truncated sample. The bounds provided apply to three popular classes of distributions, namely sub-Gaussian, sub-exponential and heavy-tailed distributions. The bounds are derived by first relating the estimation error to the Wasserstein distance between the true and empirical distributions, and then using recent concentration bounds for the latter. Previous concentration bounds are available only for specific risk measures such as CVaR and CPT-value. The bounds derived in this paper are shown to either match or improve upon previous bounds in cases where they are available. The usefulness of the bounds is illustrated through an algorithm and the corresponding regret bound for a stochastic bandit problem involving a general risk measure from each of the two classes introduced in the paper.

研究动机与目标

• 开发一种通用框架，用于推导金融与决策理论中广泛应用的风险度量的经验风险估计的集中性界。
• 将CVaR和CPT等风险度量的现有特定情况下的界统一到基于Wasserstein距离的单一理论方法中。
• 将集中性结果扩展至重尾分布和亚指数分布，其中先前的界存在局限性或非最优。
• 利用截断的经验分布，为RDEU和谱风险度量等风险度量提出新型估计器。
• 在风险敏感的后悔最小化设定下，展示该界在随机多臂赌博机问题中的实用性。

提出的方法

• 该方法将风险度量的估计误差与真实累积分布函数（CDF）和从独立同分布样本中获得的经验CDF之间的Wasserstein距离相关联。
• 利用近期关于经验分布与真实分布之间Wasserstein距离的集中性界，推导出风险度量估计器的尾部界。
• 提出了两种不同的估计方案：一种用于(T1)类风险度量（如CVaR、SRM、UBSR），使用完整的经验CDF；另一种用于(T2)类风险度量（如CPT、RDEU、DRM），使用截断的经验CDF。
• 该框架根据风险度量在Wasserstein度量下的连续性特性进行分类，从而实现对多样化风险度量的统一处理。
• 为三类分布（子高斯、亚指数，以及满足高阶矩条件的重尾分布）推导出理论界。
• 将该方法应用于推导涉及每类中一般风险度量的随机多臂赌博机问题的后悔界，采用了一种新颖的风险敏感算法。

实验结果

研究问题

• RQ1 能否开发出一个单一的理论框架，用于推导多样化风险度量的集中性界，而非对每种情况分别处理？
• RQ2 真实CDF与经验CDF之间的Wasserstein距离如何与风险度量的估计误差相关联？
• RQ3 在子高斯分布和重尾分布下，能否为CVaR和CPT等风险度量推导出更紧致且更具普适性的集中性界？
• RQ4 在估计具有不连续或非Lipschitz行为的风险度量时，经验分布的截断对估计精度有何影响？
• RQ5 如何利用推导出的界来设计并分析具有可证明后悔保证的风险敏感多臂赌博机算法？

主要发现

• 对于子高斯分布下的CVaR，本文推导出一个阶为$O\left(\exp\left(-cn\epsilon^{2}\right)\right)$的尾部界，与有界支撑下的结果一致，且相较于先前工作，对$\epsilon$的依赖关系更优。
• 所提出的CVaR界无需Kolla等（2019）所施加的最小增长假设，因此适用于更广泛的一类子高斯分布。
• 对于CPT和RDEU，估计方案中使用截断的经验分布，导出了新型估计器，其一致性与集中性界已得到证明。
• 在所有三类分布中，该框架对特定风险度量（如CVaR和CPT值）的界优于或与现有结果相当。
• 在随机多臂赌博机设定中，推导出的界导致一个阶为$O\left(n^{1 - \alpha \min\{1/2, 1 - \alpha\}}\right)$的后悔界，该界不随差距$\Delta_i$的倒数增长，优于先前工作中存在的反差距依赖关系。
• 该后悔界通过Hölder不等式和Wasserstein集中性结果的创新应用推导得出，展示了理论框架的实际效用。