[论文解读] Sample-Efficient Reinforcement Learning of Undercomplete POMDPs

Chi Jin, Sham M. Kakade+2 more|arXiv (Cornell University)|Jun 22, 2020

Blind Source Separation Techniques参考文献 14被引用 7

一句话总结

本文提出 OOM-UCB，一种针对状态空间数量少于观测数量的可解离（undercomplete）部分可观察马尔可夫决策过程（POMDP）的样本高效强化学习算法，实现了寻找 $\varepsilon$-最优策略的最优 $\tilde{\mathcal{O}}(1/\varepsilon^2)$ 样本复杂度。该方法结合了基于乐观探索的策略与通过张量分解实现的可观测算子估计，从而在部分可观察环境下实现了可证明高效的强化学习。

ABSTRACT

Partial observability is a common challenge in many reinforcement learning applications, which requires an agent to maintain memory, infer latent states, and integrate this past information into exploration. This challenge leads to a number of computational and statistical hardness results for learning general Partially Observable Markov Decision Processes (POMDPs). This work shows that these hardness barriers do not preclude efficient reinforcement learning for rich and interesting subclasses of POMDPs. In particular, we present a sample-efficient algorithm, OOM-UCB, for episodic finite undercomplete POMDPs, where the number of observations is larger than the number of latent states and where exploration is essential for learning, thus distinguishing our results from prior works. OOM-UCB achieves an optimal sample complexity of $ ilde{\mathcal{O}}(1/\varepsilon^2)$ for finding an $\varepsilon$-optimal policy, along with being polynomial in all other relevant quantities. As an interesting special case, we also provide a computationally and statistically efficient algorithm for POMDPs with deterministic state transitions.

研究动机与目标

• 解决在无法获取完整状态信息的部分可观察环境中实现样本高效强化学习的挑战。
• 通过聚焦于一个结构化子类——即观测数多于潜在状态数的可解离 POMDP——克服一般 POMDP 中存在的统计与计算困难障碍。
• 设计一种算法，同时确保统计效率与战略性探索，这对于 POMDP 中的信息获取至关重要。
• 为确定性状态转移的特殊情况设计一种计算高效的算法，相较于先前工作在效率与模型参数依赖性方面均有改进。

提出的方法

• 提出 OOM-UCB 算法，基于‘面对不确定性时的乐观性’（UCB）原则，用于指导可解离 POMDP 中的探索。
• 利用张量分解技术，从轨迹中估计可观测算子（OPEs），在可解离假设下借助矩方法实现。
• 利用估计的算子构建信念状态与策略评估，实现在无需完整模型识别的前提下高效策略学习。
• 应用提升程序以增强成功概率，多次运行算法并选择置信度最高的最优策略。
• 对于确定性动力学，设计一种专用算法，其样本复杂度依赖于发射分布之间的 $\ell_2$ 距离，而非最小奇异值，从而实现更优的依赖关系。

实验结果

研究问题

• RQ1 尽管一般 POMDP 存在已知的统计与计算困难，我们是否仍能在可解离 POMDP 中实现样本高效的强化学习？
• RQ2 战略性探索在实现可解离 POMDP 的样本效率中是否具有必要性？能否在学习算法中形式化地刻画这一机制？
• RQ3 我们能否为具有确定性状态转移的 POMDP 设计一种计算高效的算法，同时保持统计效率？
• RQ4 POMDP 学习的根本统计极限是什么？在假设如可解离性与最小奇异值条件下，这些假设如何影响样本复杂度？

主要发现

• OOM-UCB 在可解离 POMDP 中实现 $\tilde{\mathcal{O}}(1/\varepsilon^2)$ 的最优样本复杂度，以寻找 $\varepsilon$-最优策略，且对所有其他参数呈多项式依赖。
• 该算法的样本复杂度依赖于发射矩阵的最小奇异值，通过下界分析证明该依赖关系是必要的。
• 对于具有确定性状态转移的 POMDP，算法的样本复杂度依赖于发射分布之间的 $\ell_2$ 距离，相比奇异值依赖关系更具优势。
• 一个下界分析表明，在无额外假设条件下，过完备设置在统计上是不可行的，从而验证了可解离假设的合理性。
• 另一个下界确认，在所考虑的假设下，对发射矩阵最小奇异值的依赖关系是不可避免的。
• 提升程序保持了对 $\varepsilon$ 的最优 $\tilde{\mathcal{O}}(1/\varepsilon^2)$ 依赖关系，确保在不降低样本效率的前提下对失败概率具有鲁棒性。