[论文解读] A Notation for Markov Decision Processes

Philip S. Thomas, Okal, Billy|arXiv (Cornell University)|Dec 30, 2015

Reinforcement Learning in Robotics参考文献 1被引用 12

一句话总结

本文提出了 MDPNv1，一种用于马尔可夫决策过程（MDPs）的标准化符号系统，使研究人员能够用一句话替代冗长的符号定义：'我们采用 MDPNv1 符号标准。' 该符号系统通过一致的符号统一了 MDP 的核心组件——状态、动作、奖励、转移函数与奖励函数，并提供了一个 LaTeX 样式文件以实现轻松集成。它通过减少重复内容并提升清晰度，简化了强化学习论文中的学术写作。

ABSTRACT

This paper specifies a notation for Markov decision processes.

研究动机与目标

• 通过用单一标准化符号系统替代多段符号定义，减少强化学习论文中的重复性内容。
• 为强化学习研究中的 MDP 符号提供统一且一致的基础，减少符号不一致现象，提升可读性。
• 使作者能够通过 LaTeX 样式文件轻松采用并自定义该符号系统，支持多种符号变体而无需手动编辑公式。
• 在需要时允许作者覆盖或扩展 MDPNv1 的定义，确保灵活性的同时不损害标准化。
• 通过受控的符号滥用方式，同时支持离散与连续的随机变量，保持数学严谨性的同时维持可读性。

提出的方法

• 提出 MDPNv1 作为基于元组的 MDP 定义：$(\mathcal{S},\mathcal{A},\mathcal{R},P,R,d_{0},\gamma)$，为状态、动作、奖励及函数使用标准化符号。
• 将状态、动作和奖励定义为随机变量 $S_t$、$A_t$、$R_t$，其取值分别为 $s$、$a$、$r$。
• 引入 $P(s,a,s') = \Pr(S_{t+1}=s' \mid S_t=s, A_t=a)$ 作为转移函数，并提供三种替代符号：$P(s'\mid s,a)$、$P_s^a(s')$ 和 $P_{s,s'}^a$。
• 定义奖励函数 $R(s,a,s',r) = \Pr(R_t = r \mid S_t=s, A_t=a, S_{t+1}=s')$，以建模基于状态转移的奖励分布。
• 提供一个 LaTeX 样式文件，包含如 \sset、\aset、\rset、\T、\R、\pp 和 \mu 等命令，用于生成标准化符号，并支持下标与上标。
• 允许作者通过后续声明覆盖 MDPNv1 的定义（例如，将 $\mathcal{A}$ 重新定义为优势函数），同时保持向后兼容性。

实验结果

研究问题

• RQ1 如何减少在每篇强化学习论文中重复定义 MDP 组件的冗余？
• RQ2 何种标准化符号系统能够统一强化学习研究中的 MDP 表示，同时保持可自定义的灵活性？
• RQ3 如何在 LaTeX 中实现一致且可复用的符号系统，以最小化手动公式编辑？
• RQ4 在符号表示中将连续或混合随机变量视为离散变量时，会产生哪些权衡？
• RQ5 作者如何在不破坏一致性的前提下，安全地覆盖或扩展标准化符号？

主要发现

• MDPNv1 的采用减少了在每篇论文中重新定义核心 MDP 组件的需求，节省了篇幅并提升了清晰度。
• 该符号系统通过受控的符号滥用方式，同时支持离散与连续的随机变量，将所有分布视为概率质量函数，尽管在连续情况下存在技术上的不准确，但保持了可读性。
• 作者可通过在论文后文声明新含义来覆盖 MDPNv1 的定义（例如，重新定义 $\mathcal{A}$），从而保持灵活性。
• LaTeX 样式文件支持在不同符号变体（如 alpha、beta、kappa）之间动态切换，并支持标准 LaTeX 格式，如下标与上标。
• 显式包含 $\mathcal{R}$ 可避免在对奖励求和时产生歧义，解决了使用隐式定义如 $\sum_{r \in \mathbb{R}}$ 或 $\sum_{r \in \mathbb{Z}}$ 时的问题。
• 该符号系统设计为最小化且可扩展，仅聚焦于 MDP 的核心组件，避免争议与不必要的复杂性。