[论文解读] Conformal Prediction Intervals for Markov Decision Process Trajectories

Thomas G. Dietterich, Jesse Hostetler|arXiv (Cornell University)|Jun 10, 2022

Simulation Techniques and Applications被引用 6

一句话总结

本文提出 SQBoxCI，一种用于马尔可夫决策过程（MDP）轨迹的置信区间生成方法，确保在所有时间步上实现有限样本覆盖 $1 - \delta$。通过结合分位数回归与置信校正，该方法生成比传统贝尼尼方法更紧密的联合多变量区间，在入侵物种管理与 StarCraft2 任务中均得到验证，表现出良好的经验覆盖性能。

ABSTRACT

Before delegating a task to an autonomous system, a human operator may want a guarantee about the behavior of the system. This paper extends previous work on conformal prediction for functional data and conformalized quantile regression to provide conformal prediction intervals over the future behavior of an autonomous system executing a fixed control policy on a Markov Decision Process (MDP). The prediction intervals are constructed by applying conformal corrections to prediction intervals computed by quantile regression. The resulting intervals guarantee that with probability $1-δ$ the observed trajectory will lie inside the prediction interval, where the probability is computed with respect to the starting state distribution and the stochasticity of the MDP. The method is illustrated on MDPs for invasive species management and StarCraft2 battles.

研究动机与目标

• 为整个 MDP 轨迹的多变量预测区间提供有限样本、$1-\delta$ 的覆盖率保证，而不仅限于单个时间步。
• 通过联合建模轨迹行为，解决贝尼尼校正在多变量预测中的局限性，从而生成更紧密、更具信息量的区间。
• 开发一种对极端分位数估计具有鲁棒性、并能提供可解释、面向安全关键场景的置信边界的方法，适用于自主系统部署。
• 通过分析训练数据中违反模式，实现对潜在预测失败的早期预警，支持安全关键领域中的人机协作。

提出的方法

• 使用分位数回归，以初始状态 $s_0$ 为输入，预测每个时间步行为向量的 $\delta/2$ 和 $1-\delta/2$ 分位数。
• 应用 SBox 算法，通过在时间步与维度间重缩放并进行置信校正，计算多变量置信预测区间。
• 提出 SQBoxCI，一种两阶段方法：首先计算每个时间步的分位数预测，随后应用置信校正以确保联合轨迹级覆盖率。
• 采用分割置信预测方法，确保有限样本有效性，且该保证在初始状态分布 $P_0$ 上成立。
• 使用超出度量评估真实轨迹偏离预测区间的频率，以最大超出度量校准最终边界。
• 引入启发式检查，检测状态空间中违反行为的聚集现象，提升可解释性，并在安全关键场景中减少误报。

实验结果

研究问题

• RQ1 置信预测能否有效扩展至 MDP 中的多变量、轨迹级预测区间，同时保持有限样本覆盖率？
• RQ2 与贝尼尼校正的单变量区间相比，联合置信方法在区间紧密度与经验覆盖率方面表现如何？
• RQ3 该方法能否检测并标记预测区间系统性失效的状态空间区域，从而为人类操作员提供早期预警？
• RQ4 在高维轨迹空间中，该方法对小样本量和极端分位数估计的鲁棒性如何？

主要发现

• SQBoxCI 方法在 Tamarisk 入侵物种管理任务与 StarCraft2 战斗任务中，均实现了接近名义 $1 - \delta$ 水平的经验覆盖率。
• 对于 $\delta = 0.2$ 和 $\delta = 0.1$，基于总超出度量的边界方法合理地刻画了未来行为，但在 Tamarisk 任务中 $\delta = 0.05$ 时性能下降。
• 与贝尼尼校正的单变量区间相比，置信校正显著生成了更紧密的预测区间，尤其在高维设置下表现更优。
• 实验表明，至少需要 500 条轨迹才能获得稳定且紧密的置信分位数估计，凸显了数据效率的局限性。
• 在 StarCraft2 任务中检测到违反行为的聚集现象，表明某些初始状态会持续导致区间失效，该方法可通过检查训练数据识别此类区域。
• 该方法可生成可解释的、半条件性的预测区间；当违反行为分布较均匀时，其表现几乎等同于对单个初始状态具有条件有效性。