[论文解读] Max-Plus Matching Pursuit for Deterministic Markov Decision Processes

Francis Bach|arXiv (Cornell University)|Jun 20, 2019

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文提出了一种最大-加法匹配追踪算法，用于在确定性马尔可夫决策过程（MDPs）中，通过字典中值函数的稀疏表示来近似最优值函数。通过利用最大-加法代数，该方法将计算复杂度与状态空间大小解耦，转而依赖于覆盖数，从而降低复杂度，并在低维控制问题中通过自适应基选择实现更好的收敛性。

ABSTRACT

We consider deterministic Markov decision processes (MDPs) and apply max-plus algebra tools to approximate the value iteration algorithm by a smaller-dimensional iteration based on a representation on dictionaries of value functions. The setup naturally leads to novel theoretical results which are simply formulated due to the max-plus algebra structure. For example, when considering a fixed (non adaptive) finite basis, the computational complexity of approximating the optimal value function is not directly related to the number of states, but to notions of covering numbers of the state space. In order to break the curse of dimensionality in factored state-spaces, we consider adaptive basis that can adapt to particular problems leading to an algorithm similar to matching pursuit from signal processing. They currently come with no theoretical guarantees but work empirically well on simple deterministic MDPs derived from low-dimensional continuous control problems. We focus primarily on deterministic MDPs but note that the framework can be applied to all MDPs by considering measure-based formulations.

研究动机与目标

• 通过利用最大-加法代数结构，解决确定性MDP中值函数近似面临的维度灾难问题。
• 开发一种受信号处理中匹配追踪启发的贪心算法，用于在值函数表示中选择信息丰富的基函数。
• 提供关于近似复杂度的理论见解，其依赖于覆盖数而非状态数量。
• 在低维连续控制问题上，经验评估自适应基选择的性能。
• 通过基于测度的公式，将框架扩展至非确定性MDPs，尽管复杂度有所增加。

提出的方法

• 贝尔曼算子在最大-加法代数 $(\mathbb{R} \cup \{-\infty\}, \max, +)$ 中被重新表述，使其变为可加且正 homogeneous 的。
• 通过有限基函数字典（原子）进行值函数近似，更新规则采用类似匹配追踪的贪心选择策略。
• 算法选择在最大-加法意义下最能减少残差误差的原子，使用 $\ell_1$-范数准则进行原子选择。
• 对于固定基，基于状态空间的覆盖数推导出近似误差的理论界，且独立于状态数量。
• 在因子化状态空间中应用自适应基选择以缓解维度灾难，目前尚无理论保证，但经验性能表现强劲。
• 通过将状态建模为概率测度，将框架扩展至非确定性MDPs，从而实现基于测度的贝尔曼算子。

实验结果

研究问题

• RQ1 最大-加法代数能否为确定性MDP中的值函数近似提供更自然且结构化的框架？
• RQ2 在最大-加法代数中使用固定有限基时，值函数近似计算复杂度如何随规模变化？
• RQ3 在高维或因子化MDPs中，具有自适应基选择的贪心匹配追踪式算法是否能优于固定基方法？
• RQ4 时域 $\tau = (1 - \gamma)^{-1}$ 在近似收敛性和准确性中起什么作用？
• RQ5 如何在保持计算可处理性的前提下，将最大-加法框架扩展至非确定性MDPs？

主要发现

• 对于固定非自适应基，近似误差取决于状态空间的覆盖数而非状态数量，从而可能降低计算复杂度。
• 字典中分段仿射函数的近似性能显著优于相同数量基函数的分段常数函数。
• 更大的时域 $\rho$（即使用 $T^\rho$ 而非 $T$）可提升贪心匹配追踪的性能，实现更优的原子选择。
• 在二维控制问题中，由于所选原子的稀疏性，匹配追踪能更快收敛至最优值函数。
• 该方法在源自连续控制问题的低维确定性MDPs上表现出经验成功，且随着基函数数量增加，误差持续下降。
• 理论保证目前仅限于固定基，但自适应匹配追踪的经验证据表明其在高维问题中具有巨大潜力。