[论文解读] Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making

Chengchun Shi, Runzhe Wan+3 more|arXiv (Cornell University)|Feb 5, 2020

Reinforcement Learning in Robotics参考文献 37被引用 9

一句话总结

该论文提出了一种新颖的前向-后向学习方法，用于在序列决策中检验马尔可夫性质，能够在不假设参数形式的前提下检测高阶马尔可夫决策过程（HMDPs）和部分可观察MDPs（POMDPs）。该检验方法利用双重稳健估计方程与机器学习技术，确保在高维设置下的有效推断，且在轨迹数 $n$ 或时间跨度 $T$ 发散时具有渐近有效性。

ABSTRACT

The Markov assumption (MA) is fundamental to the empirical validity of reinforcement learning. In this paper, we propose a novel Forward-Backward Learning procedure to test MA in sequential decision making. The proposed test does not assume any parametric form on the joint distribution of the observed data and plays an important role for identifying the optimal policy in high-order Markov decision processes and partially observable MDPs. We apply our test to both synthetic datasets and a real data example from mobile health studies to illustrate its usefulness.

研究动机与目标

• 开发一种针对序列决策中马尔可夫假设（MA）的有效统计检验方法，该假设是强化学习（RL）算法的基础。
• 解决在高阶MDPs（HMDPs）中选择正确回溯周期 $\kappa_0$ 的挑战，此时短记忆下的MA可能不成立。
• 当通过连接多个时间点后MA仍不成立时，检测系统是否更适合建模为部分可观察MDPs（POMDPs），从而可应用POMDP专用的RL方法。
• 通过避免参数建模并利用现代机器学习与双重稳健性，确保在高维状态空间中检验的有效性。
• 提供一种可扩展的、渐近有效的检验方法，适用于 $n$ 或 $T$ 发散的情形，可应用于真实世界数据集（如移动健康数据与弗雷明汉心脏研究）。

提出的方法

• 提出一种前向-后向学习程序，利用前向与后向预测误差构造检验统计量。
• 采用双重稳健估计方程，降低机器学习模型带来的偏差，确保在模型误设情况下的一致估计。
• 利用谱分解与经验特征函数，基于给定当前状态时过去状态的条件独立性定义检验统计量。
• 应用顺序检验程序：从 $k=1$ 开始，对连续 $k$ 个时间点的状态组合检验MA，并逐步增加 $k$ 直至MA未被拒绝。
• 通过高维中心极限定理与块对角协方差结构，推导检验统计量在原假设下的极限分布。
• 通过将协方差矩阵估计误差控制在 $O((nT)^{-c^{**}})$ 阶率内，确保在高维设置下的有效性。

实验结果

研究问题

• RQ1 我们能否在不假设观测数据联合分布参数形式的前提下，检验序列决策中的马尔可夫假设？
• RQ2 当小的 $\kappa_0$ 下马尔可夫性质不成立时，如何确定高阶MDPs中最佳的回溯周期 $\kappa_0$？
• RQ3 我们的检验能否检测出系统更宜被建模为部分可观察MDP（POMDP）而非标准MDP的情况？
• RQ4 在传统方法（如局部多项式回归）因维度灾难而失效的高维设置下，所提检验是否仍能保持有效的大小与功效？
• RQ5 当轨迹数 $n$ 或时间跨度 $T$ 发散时，该检验是否具有渐近有效性？

主要发现

• 在合成数据中，所提检验能正确识别最优状态表示，当与RL算法结合使用时，几乎在所有情况下均取得最高性能值。
• 顺序前向检验程序成功识别出使MA成立的最小 $k$，其政策估计效果优于固定或错误指定的回溯周期。
• 在真实移动健康数据中，检验即使在连接多个时间点后仍检测到MA的违反，表明需要采用POMDP建模。
• 该检验在高维设置下保持了正确的大小与功效，优于现有方法（如Chen & Hong, 2012），后者受维度灾难影响。
• 检验统计量的极限分布渐近服从正态分布，且协方差结构易于处理，使得在弱正则性条件下可实现有效推断。
• 实证结果表明，基于本检验选择的状态所学习的策略，始终优于基于标准MDP假设的策略，尤其在非马尔可夫环境中表现更优。