[论文解读] A Finite Sample Complexity Bound for Distributionally Robust Q-learning

Shengbo Wang, Nian Si+2 more|arXiv (Cornell University)|Feb 26, 2023

Distributed Sensor Networks and Detection Algorithms被引用 6

一句话总结

本论文提出了一种无模型的分布鲁棒Q-learning算法，在分布偏移环境下具备有限样本复杂度保证。通过改进多级蒙特卡洛估计器以确保恒定的期望样本量，该工作首次建立了在缩放线性或常数步长下，学习鲁棒Q函数在上确界范数下误差不超过$\epsilon$的有限期望样本复杂度上界，为$\tilde{O}(|S||A|(1-\gamma)^{-5}\epsilon^{-2}p_{\wedge}^{-6}\delta^{-4})$。

ABSTRACT

We consider a reinforcement learning setting in which the deployment environment is different from the training environment. Applying a robust Markov decision processes formulation, we extend the distributionally robust $Q$-learning framework studied in Liu et al. [2022]. Further, we improve the design and analysis of their multi-level Monte Carlo estimator. Assuming access to a simulator, we prove that the worst-case expected sample complexity of our algorithm to learn the optimal robust $Q$-function within an $ε$ error in the sup norm is upper bounded by $ ilde O(|S||A|(1-γ)^{-5}ε^{-2}p_{\wedge}^{-6}δ^{-4})$, where $γ$ is the discount rate, $p_{\wedge}$ is the non-zero minimal support probability of the transition kernels and $δ$ is the uncertainty size. This is the first sample complexity result for the model-free robust RL problem. Simulation studies further validate our theoretical results.

研究动机与目标

• 解决标准强化学习策略在与训练环境不同的环境中部署时因分布偏移导致的脆弱性问题。
• 克服先前鲁棒Q-learning方法的局限性——缺乏有限样本复杂度保证，因其期望样本量为无穷大。
• 设计一种无模型、样本高效的分布鲁棒强化学习算法，并具备可证明的收敛速率。
• 在分布鲁棒MDP框架下，为鲁棒Q-learning问题建立有限样本复杂度上界。

提出的方法

• 将Liu等人（2022）的多级蒙特卡洛（MLMC）估计器扩展，通过控制估计器的方差与偏差，确保有限的期望样本量。
• 引入一种基于无偏MLMC的贝尔曼算子估计器，并具备矩界，以支持有限样本的随机逼近分析。
• 应用Chen等人（2020）的有限样本随机逼近框架，分析收敛性并推导样本复杂度上界。
• 采用缩放线性或常数步长规则，以确保随机逼近过程中的稳定性和收敛性。
• 设计一种鲁棒Q-learning算法，通过在转移分布的模糊集上最小化最坏情况下的期望回报。
• 利用改进估计器的性质与鲁棒MDP的结构，证明期望样本复杂度的理论边界。

实验结果

研究问题

• RQ1 能否设计一种无模型的分布鲁棒Q-learning算法，使其具备有限的期望样本复杂度？
• RQ2 在分布偏移下，学习最优鲁棒Q函数的最紧可能的样本复杂度上界是什么？
• RQ3 样本复杂度如何随关键问题参数（如折扣因子$\gamma$、最小转移概率$p_{\wedge}$和不确定性大小$\delta$）变化？
• RQ4 改进的MLMC估计器是否能在保持收敛至鲁棒Q值函数的同时，确保有限的期望样本使用量？
• RQ5 在样本效率和收敛速率方面，该算法与先前工作（特别是Liu等人，2022）相比表现如何？

主要发现

• 所提算法在上确界范数下以$\epsilon$误差学习最优鲁棒Q函数时，实现了$\tilde{O}(|S||A|(1-\gamma)^{-5}\epsilon^{-2}p_{\wedge}^{-6}\delta^{-4})$的有限期望样本复杂度。
• 该样本复杂度上界在$|S||A|$上是紧的，在有效时域$(1-\gamma)^{-1}$上几乎紧致，表明其在状态和动作空间规模增大时具有良好的可扩展性。
• 通过构建具有有界矩和无偏性的改进MLMC估计器，该算法确保了有限的期望样本使用量，从而解决了Liu等人（2022）方法中的关键局限。
• 数值实验验证了理论预测，显示在对数-对数尺度下，无论采用缩放线性还是常数步长，收敛速率均与$\tilde{O}(k^{-1/2})$一致。
• 复杂度对$\delta$的变化不敏感，无论$\delta$较小或较大，支持了$\delta \downarrow 0$时其依赖关系为$O(1)$的猜想，与先前预期相反。
• 在缺货库存控制实验中，当$g=5/8$时，所提算法使用的样本数显著少于Liu等人（2022）的$g=0.499$，展现出更高的样本效率。