[论文解读] A Block Coordinate Ascent Algorithm for Mean-Variance Optimization

Bo Liu, Tengyang Xie+5 more|arXiv (Cornell University)|Sep 7, 2018

Stochastic Gradient Optimization Techniques被引用 25

一句话总结

本文提出了一种新颖的块坐标上升算法，用于强化学习中的均值-方差优化，利用Legendre-Fenchel对偶性实现高效的随机策略搜索。该方法建立了有限样本误差界和收敛速率，相较于以往仅具有渐近收敛证明且超参调优困难的方法，提供了更强的理论保证。

ABSTRACT

Risk management in dynamic decision problems is a primary concern in many fields, including financial investment, autonomous driving, and healthcare. The mean-variance function is one of the most widely used objective functions in risk management due to its simplicity and interpretability. Existing algorithms for mean-variance optimization are based on multi-time-scale stochastic approximation, whose learning rate schedules are often hard to tune, and have only asymptotic convergence proof. In this paper, we develop a model-free policy search framework for mean-variance optimization with finite-sample error bound analysis (to local optima). Our starting point is a reformulation of the original mean-variance function with its Fenchel dual, from which we propose a stochastic block coordinate ascent policy search algorithm. Both the asymptotic convergence guarantee of the last iteration's solution and the convergence rate of the randomly picked solution are provided, and their applicability is demonstrated on several benchmark domains.

研究动机与目标

• 为解决现有均值-方差强化学习算法的局限性，这些算法依赖于难以调优的多时间尺度随机逼近方法，且仅具有渐近收敛证明。
• 开发一种计算高效、无需环境模型的策略搜索框架，用于均值-方差优化，并提供严格的有限样本复杂度分析。
• 为所提出的算法提供渐近收敛性和有限样本误差界，确保其在现实世界决策中的实际适用性。
• 通过Legendre-Fenchel对偶性重新表述均值-方差目标，以实现更稳定和高效的优化过程。
• 在投资组合管理、美式期权和最优停止等基准领域中，验证算法的有效性。

提出的方法

• 利用Legendre-Fenchel对偶性重述均值-方差目标，推导出适用于块坐标下降的新优化形式。
• 提出一种随机循环块坐标下降（SBCD）算法，通过采样轨迹交替更新策略参数和对偶变量。
• 采用该算法的随机变体（RCPG）和完整更新变体（SGA），两者均满足Robbins-Monro条件的步长规则或设为常数。
• 使用经验回报 $ R_t $ 和策略梯度 $ \omega_t(\theta_t) $ 计算 $ \theta $ 和 $ y $ 的更新，其中 $ y $ 作为方差控制的对偶变量。
• 通过梯度的期望范数分析收敛性，在适当的步长设置下，推导出 $ \mathcal{O}(1/\sqrt{N}) $ 的收敛速率。
• 对最后一个迭代点和随机选择的迭代点应用有限样本误差界，提供非渐近保证。

实验结果

研究问题

• RQ1 是否能够设计一种无需环境模型的均值-方差优化策略搜索算法，实现有限样本收敛保证，从而克服以往方法仅具有渐近性质的局限？
• RQ2 使用Legendre-Fenchel对偶性是否能为均值-方差目标提供更稳定、更高效的优化框架？
• RQ3 与现有多时间尺度随机逼近算法相比，随机块坐标上升方法是否在收敛速度和计算效率方面表现更优？
• RQ4 所提出算法的有限样本误差界是什么？与随机更新策略相比，循环更新策略的性能如何？
• RQ5 不同的步长调度策略（Robbins-Monro 与常数）如何影响收敛行为和最终性能？

主要发现

• 所提算法实现了有限样本收敛速率 $ \mathcal{O}(1/\sqrt{N}) $，且期望梯度范数满足 $ \mathbb{E}[\|\nabla f(x_z)\|_2^2] \leq \frac{f(x_1) - f^* + N(\beta^{\max})^2 C}{N(\beta^{\min} - \frac{L}{2}(\beta^{\max})^2)} $。
• 该算法的最后一个迭代点在标准Robbins-Monro步长条件下，渐近收敛至局部最优解。
• 当 $ \beta^{\min} = \beta^{\max} = \mathcal{O}(1/\sqrt{N}) $ 时，序列中随机选择的迭代点 $ x_z $ 同样达到 $ \mathcal{O}(1/\sqrt{N}) $ 的收敛速率。
• 在投资组合管理、美式期权和最优停止等基准领域中，该算法优于现有方法，表现出更快的收敛速度和更高的稳定性。
• 通过一种新颖的分析框架，推导出有限样本误差界，该框架考虑了更新动态中的非线性特性，克服了以往方法（如Dalal等，2018）的局限性。
• 理论分析证实，尽管先前研究缺乏有限样本分析，循环块更新策略在实际性能上仍优于随机更新策略。