[论文解读] First-Order Methods for Wasserstein Distributionally Robust MDP

Julien Grand-Clément, Christian Kroer|arXiv (Cornell University)|Sep 14, 2020

Infrastructure Maintenance and Monitoring被引用 2

一句话总结

该论文提出了一种用于求解Wasserstein分布鲁棒马尔可夫决策过程（Wasserstein DR-MDPs）的一阶方法（FOM）框架，结合近端更新与近似贝尔曼迭代，实现了 O(N^{2.5}A^{2.5}S^{2.5} × log(S) log(ϵ^{-1}) × ϵ^{-1.5}) 的收敛速率——显著优于内点法的 O(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1}))。该方法实现了针对 ℓ1、ℓ2 和 ℓ∞ Wasserstein 不确定性集的可扩展、近乎线性时间的近端更新，在数值实验中优于当前最先进方法。

ABSTRACT

Markov decision processes (MDPs) are known to be sensitive to parameter specification. Distributionally robust MDPs alleviate this issue by allowing for \emph{ambiguity sets} which give a set of possible distributions over parameter sets. The goal is to find an optimal policy with respect to the worst-case parameter distribution. We propose a framework for solving Distributionally robust MDPs via first-order methods, and instantiate it for several types of Wasserstein ambiguity sets. By developing efficient proximal updates, our algorithms achieve a convergence rate of $O\left(NA^{2.5}S^{3.5}\log(S)\log(\epsilon^{-1})\epsilon^{-1.5} ight)$ for the number of kernels $N$ in the support of the nominal distribution, states $S$, and actions $A$; this rate varies slightly based on the Wasserstein setup. Our dependence on $N,A$ and $S$ is significantly better than existing methods, which have a complexity of $O\left(N^{3.5}A^{3.5}S^{4.5}\log^{2}(\epsilon^{-1}) ight)$. Numerical experiments show that our algorithm is significantly more scalable than state-of-the-art approaches across several domains.

研究动机与目标

• 解决内点法（IPMs）在求解具有 Wasserstein 不确定性集的分布鲁棒马尔可夫决策过程（DR-MDPs）时的可扩展性限制。
• 开发一种一阶方法（FOM）框架，通过改进对状态数 S、动作数 A 和核数 N 的依赖关系，降低计算复杂度。
• 设计针对多种 Wasserstein 度量（ℓ1、ℓ2、ℓ∞）的高效近端更新方案，以实现近乎线性时间的计算。
• 在实践中实现比值迭代（VI）更快的收敛速度，尤其适用于具有稀疏或噪声数据的大规模 MDP。
• 在模型误设的序列决策问题中，确保对分布不确定性具有鲁棒性，如在医疗保健和车辆路径规划中的应用。

提出的方法

• 通过交替进行一阶方法（FOM）更新与近似贝尔曼更新，求解最大-最小鲁棒 MDP 问题。
• 基于贝尔曼算子导出的线性化值向量估计，使用基于梯度的 FOM 更新。
• 为 ℓ1、ℓ2 和 ℓ∞ Wasserstein 不确定性集开发新型近端算法，实现近似线性时间的近端迭代计算。
• 将鲁棒贝尔曼方程重新表述为具有最大-最小目标的有限维凸规划，利用锥规划结构。
• 应用热启动策略和高效求解器（如 Gurobi）以加速值函数更新的收敛。
• 通过监测对偶间隙，在达到 ε-最优时终止迭代。

实验结果

研究问题

• RQ1 一阶方法是否能在 Wasserstein DR-MDPs 中实现优于内点法的可扩展性，特别是在对 N、A 和 S 的依赖关系方面？
• RQ2 能否为多种 Wasserstein 度量（ℓ1、ℓ2、ℓ∞）设计高效的近端更新，以实现近乎线性时间的计算？
• RQ3 尽管使用了近似贝尔曼更新和迭代策略平均，所提出的 FOM 框架是否仍能保持收敛性保证？
• RQ4 与当前最先进方法相比，该算法在核数 N 和状态数 S 增加时的扩展性如何？
• RQ5 在结构化和随机 MDP 实例上，该方法是否能在实践中优于值迭代和基于 IPM 的求解器？

主要发现

• 所提出的 FOM 框架实现了 O(N^{2.5}A^{2.5}S^{2.5} log(S) log(ϵ^{-1}) × ϵ^{-1.5}) 的收敛速率——相比内点法的 O(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1})) 显著提升。
• 该算法在核数 N 上呈线性扩展，实测运行时间从 N=5 时的 1.6 秒增加到 N=70 时的 120.2 秒（S=A=30）。
• 对于大规模实例（如 S=30, A=30, N=70），基于 FOM 的算法在运行时间上优于基于 IPM 的求解器，展现出更优的可扩展性。
• 在 T 次一阶更新后，对偶间隙以 O(1/T^{2/3}) 的速率减小，表明收敛至 ε-最优策略。
• 在结构化（如设备更换、森林管理）和随机（Garnet） MDP 上的数值实验表明，该方法显著优于当前最先进方法。
• 尽管 FOM 的收敛速率（O(1/T^{2/3})）慢于值迭代（O(log(1/ϵ)）），但其更低的每次迭代成本使其在大规模问题上整体性能更优。