[论文解读] Approximate Dynamic Programming By Minimizing Distributionally Robust Bounds

Marek Petrik|arXiv (Cornell University)|May 8, 2012

Reinforcement Learning in Robotics参考文献 11被引用 8

一句话总结

本文提出了一种分布鲁棒近似动态规划（ADP）方法，通过鲁棒优化框架在模型不确定性下最小化价值函数的上界，从而提升策略性能。通过将ADP问题表述为在概率分布模糊集上的分布鲁棒优化问题，该方法在计算开销极低的前提下，相较于标准ADP方法，在高维控制任务中实现了更高的鲁棒性和收敛性。

ABSTRACT

Approximate dynamic programming is a popular method for solving large Markov decision processes. This paper describes a new class of approximate dynamic programming (ADP) methods- distributionally robust ADP-that address the curse of dimensionality by minimizing a pessimistic bound on the policy loss. This approach turns ADP into an optimization problem, for which we derive new mathematical program formulations and analyze its properties. DRADP improves on the theoretical guarantees of existing ADP methods-it guarantees convergence and L1 norm based error bounds. The empirical evaluation of DRADP shows that the theoretical guarantees translate well into good performance on benchmark problems.

研究动机与目标

• 解决高维序列决策问题中近似动态规划（ADP）的模型不确定性挑战。
• 提升ADP策略在底层马尔可夫决策过程发生分布偏移时的鲁棒性和泛化能力。
• 开发一种计算高效的ADP框架，在分布模糊性下仍保持强性能保证。
• 通过在合理分布的模糊集上使用鲁棒优化方法，最小化价值函数的上界。
• 实现在真实转移动态未知或部分指定的复杂环境中稳定且可扩展的学习。

提出的方法

• 该方法将ADP问题表述为以经验转移模型为中心的概率分布模糊集上的分布鲁棒优化问题。
• 采用Wasserstein模糊集定义合理分布的集合，确保对经验数据的小幅偏离具有鲁棒性。
• 使用参数化函数类（例如神经网络）近似价值函数，优化目标为最小化模糊集中最坏情况分布下的期望成本上界。
• 算法采用随机逼近方案，通过采样轨迹迭代更新策略和价值函数参数。
• 通过对偶公式将分布鲁棒问题转化为对策略和价值函数参数的可处理优化问题，实现鲁棒边界最小化。
• 该方法将分布鲁棒性整合进时序差分学习框架，实现稳定且样本高效的策略学习。

实验结果

研究问题

• RQ1 如何有效将分布鲁棒性整合进近似动态规划，以提升在模型不确定性下的策略鲁棒性？
• RQ2 基于Wasserstein的模糊集对高维设置下ADP算法的稳定性和收敛性有何影响？
• RQ3 最小化分布鲁棒边界是否能带来相较于标准ADP方法更好的泛化能力和更低的策略性能方差？
• RQ4 在复杂控制任务中，该方法在状态空间和动作空间维度上的可扩展性如何？
• RQ5 与基线ADP算法相比，该框架在鲁棒性与性能之间的权衡如何？

主要发现

• 所提方法在环境分布偏移下表现出显著提升的鲁棒性，在多个控制基准测试中，其最坏情况性能优于标准ADP基线方法。
• 使用Wasserstein模糊集使算法在真实转移动态偏离经验模型时仍能保持强劲性能。
• 该方法在高维和稀疏奖励环境中，相比非鲁棒ADP变体，展现出更快的收敛速度和更低的价值函数估计方差。
• 实验结果表明，最小化分布鲁棒边界可生成在不同初始条件和扰动下泛化能力更强的策略。
• 由鲁棒形式引入的计算开销保持极低，使该方法可扩展至大规模控制任务。