[论文解读] Online Stochastic Convex Optimization: Wasserstein Distance Variation

Iman Shames, Farhad Farokhi|arXiv (Cornell University)|Jun 2, 2020

Risk and Portfolio Optimization参考文献 34被引用 5

一句话总结

本文提出了一种在线近端梯度方法，用于在时间变化的概率分布下进行随机凸优化，使用Wasserstein距离来建模分布漂移。在强凸性、Lipschitz连续梯度和有界Wasserstein漂移的条件下，建立了动态遗憾界，同时引入精确罚函数法以放松梯度有界性假设，提升在线实现的计算可行性。

ABSTRACT

Distributionally-robust optimization is often studied for a fixed set of distributions rather than time-varying distributions that can drift significantly over time (which is, for instance, the case in finance and sociology due to underlying expansion of economy and evolution of demographics). This motivates understanding conditions on probability distributions, using the Wasserstein distance, that can be used to model time-varying environments. We can then use these conditions in conjunction with online stochastic optimization to adapt the decisions. We considers an online proximal-gradient method to track the minimizers of expectations of smooth convex functions parameterised by a random variable whose probability distributions continuously evolve over time at a rate similar to that of the rate at which the decision maker acts. We revisit the concepts of estimation and tracking error inspired by systems and control literature and provide bounds for them under strong convexity, Lipschitzness of the gradient, and bounds on the probability distribution drift. Further, noting that computing projections for a general feasible sets might not be amenable to online implementation (due to computational constraints), we propose an exact penalty method. Doing so allows us to relax the uniform boundedness of the gradient and establish dynamic regret bounds for tracking and estimation error. We further introduce a constraint-tightening approach and relate the amount of tightening to the probability of satisfying the constraints.

研究动机与目标

• 解决在概率分布随时间漂移的时间变化环境中进行在线随机凸优化的问题，尤其适用于金融和社会学等应用。
• 使用Wasserstein距离建模分布漂移，实现对演化数据分布的鲁棒性，且无需假设模糊集有界。
• 开发一种在线近端梯度算法，即使在分布漂移的情况下也能跟踪期望代价函数的最小化点。
• 通过引入精确罚函数法，放松对梯度一致有界的假设，提升对一般约束集的适用性。
• 在强凸性和Lipschitz连续梯度条件下，提供对跟踪误差和估计误差、以及动态遗憾的理论界。

提出的方法

• 使用Wasserstein距离量化时间变化概率分布的变化速率，从而在在线设置中实现对漂移的建模。
• 应用在线近端梯度方法，随时间跟踪平滑凸函数期望的最小化点。
• 引入精确罚函数法以替代基于投影的约束，从而放松对梯度一致有界的假设。
• 通过将误差分解为估计误差和跟踪误差两部分，结合强凸性和Lipschitz连续梯度条件，推导出动态遗憾界。
• 利用蒙特卡洛模拟验证理论界，通过经验测度近似期望和Wasserstein距离。
• 将约束紧缩与约束满足概率相关联，实现在在线决策中具有概率可行性保证。

实验结果

研究问题

• RQ1 如何在时间变化环境中有效建模在线随机优化中的分布漂移？
• RQ2 在强凸性、Lipschitz连续梯度和有界Wasserstein漂移条件下，可实现怎样的动态遗憾界？
• RQ3 能否在一般约束集的在线优化中放松对梯度一致有界的假设？
• RQ4 精确罚函数法如何在保持理论性能保证的同时提升计算可行性？
• RQ5 约束紧缩与在线优化中约束满足概率之间存在何种关系？

主要发现

• 论文证明，在强凸性、Lipschitz连续梯度和Wasserstein漂移速率约为 ρ ≈ 0.33 的示例中，跟踪误差和估计误差保持有界。
• 动态遗憾有界且随时间亚线性增长，表明对时间变化分布具有良好的适应能力。
• 精确罚函数法成功放松了对梯度一致有界的依赖，使方法可应用于一般凸约束集。
• 通过蒙特卡洛模拟验证了遗憾和误差的理论界，结果表明期望跟踪误差和估计误差随时间保持有界。
• 证明了约束紧缩与约束满足概率之间存在直接关系，从而实现概率可行性保证。
• 相较于Kullback-Leibler散度，Wasserstein距离更适用于模糊集，因其可处理非绝对连续分布，并能提供有效的置信集。