[论文解读] Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm

Yasin Abbasi-Yadkori, Csaba Szepesvári|arXiv (Cornell University)|Jun 16, 2014

Advanced Bandit Algorithms Research参考文献 1被引用 6

一句话总结

该论文提出了一种针对连续状态和动作空间中平滑参数化马尔可夫决策过程的贝叶斯最优控制的懒惰后验采样（LPS）算法。通过在参数不确定性显著降低后再延迟策略更新，LPS 实现了近似最优的遗憾度量 $\widetilde{O}(\sqrt{T} + \Sigma_T)$，在无限时域、持续性设置下平衡了计算效率与性能。

ABSTRACT

We study Bayesian optimal control of a general class of smoothly parameterized Markov decision problems. Since computing the optimal control is computationally expensive, we design an algorithm that trades off performance for computational efficiency. The algorithm is a lazy posterior sampling method that maintains a distribution over the unknown parameter. The algorithm changes its policy only when the variance of the distribution is reduced sufficiently. Importantly, we analyze the algorithm and show the precise nature of the performance vs. computation tradeoff. Finally, we show the effectiveness of the method on a web server control application.

研究动机与目标

• 解决在具有无限状态和动作空间的连续、平滑参数化 MDP 中贝叶斯最优控制的计算不可行性问题。
• 开发一种计算高效的算法，通过最小化不必要的策略更新来保持高性能。
• 在无限时域、持续性控制问题的背景下，理论刻画遗憾与计算成本之间的权衡。
• 将基于后验采样的控制方法从有限 MDP 扩展到具有参数化动态特性的连续系统。
• 在具有噪声和不确定性动态特性的实际网络服务器控制应用中对方法进行实证验证。

提出的方法

• 该算法使用后验采样，从当前未知系统动态的后验分布中抽取一个随机参数向量。
• 利用经典最优控制方法，为所采样的参数向量计算最优控制策略。
• 在后验方差显著降低后才延迟更新策略，通过不确定性降低的阈值来衡量。
• 根据当前的参数不确定性水平自适应调整阶段长度，避免频繁且昂贵的策略重新计算。
• 该方法依赖于系统动态的紧凑且平滑的参数化形式，从而实现高效的采样与优化。
• 理论分析结合了 Osband 等人（2013）与 Abbasi-Yadkori 与 Szepesvári（2011）的技术，将遗憾度量以时间范围 $T$ 和解的精度 $\Sigma_T$ 表示。

实验结果

研究问题

• RQ1 如何在具有无限状态和动作空间的连续、平滑参数化 MDP 中高效近似贝叶斯最优控制？
• RQ2 基于不确定性降低来延迟策略更新时，理论上的性能-计算权衡是什么？
• RQ3 后验采样能否被适配到具有参数化动态特性的非周期性、持续性控制问题中？
• RQ4 懒惰后验采样算法的遗憾度量如何随时间与解的精度变化？
• RQ5 在不同噪声水平下，该算法与乐观算法 OFULQ 相比，在遗憾度量与计算成本方面表现如何？

主要发现

• 懒惰后验采样算法实现了 $\widetilde{O}(\sqrt{T} + \Sigma_T)$ 的期望遗憾，其中 $\Sigma_T$ 捕获了解决最优控制问题近似解的成本。
• 当噪声方差较高（$\sigma = 1.0$）时，LPS 在遗憾度量上优于 OFULQ 算法，原因在于后者在求解乐观优化问题时计算负担更重。
• 在低噪声条件下（$\sigma = 0.1$），LPS 的遗憾略高于 OFULQ，但仍处于可接受范围内，表明其在不同噪声水平下均具有鲁棒性。
• 先验分布的选择会影响遗憾度量，实验显示使用更宽的先验（$\lambda$）会带来更高的初始不确定性与更高的遗憾，实验采用零均值高斯先验验证了这一点。
• 在真实网络服务器控制问题上的实证结果表明，LPS 在高不确定性条件下能有效平衡性能与计算成本。
• 该算法在多次独立运行中表现稳定，10 次独立实验中遗憾度量的标准差较低。