[论文解读] Approximate information state for approximate planning and reinforcement learning in partially observed systems

Jayakumar Subramanian, Amit Kumar Sinha+2 more|arXiv (Cornell University)|Oct 17, 2020

Receptor Mechanisms and Signaling被引用 31

一句话总结

本文为部分观测系统的规划与强化学习建立了一个严格的近似信息状态（AIS）框架，推导了性能界限，表明 AIS 包含许多已知近似方法，并引入基于 AIS 的带多时间尺度学习的策略梯度方法，通过实验验证。

ABSTRACT

We propose a theoretical framework for approximate planning and learning in partially observed systems. Our framework is based on the fundamental notion of information state. We provide two equivalent definitions of information state -- i) a function of history which is sufficient to compute the expected reward and predict its next value; ii) equivalently, a function of the history which can be recursively updated and is sufficient to compute the expected reward and predict the next observation. An information state always leads to a dynamic programming decomposition. Our key result is to show that if a function of the history (called approximate information state (AIS)) approximately satisfies the properties of the information state, then there is a corresponding approximate dynamic program. We show that the policy computed using this is approximately optimal with bounded loss of optimality. We show that several approximations in state, observation and action spaces in literature can be viewed as instances of AIS. In some of these cases, we obtain tighter bounds. A salient feature of AIS is that it can be learnt from data. We present AIS based multi-time scale policy gradient algorithms. and detailed numerical experiments with low, moderate and high dimensional environments.

研究动机与目标

• 将信息状态形式化为对历史的统计量，该统计量在性能评估和动态规划中具有充分性。
• 引入近似信息状态 (AIS) 作为历史的压缩表示，近似地保留上述性质。
• 推导界限，表明基于 AIS 的规划相较于最优策略的损失是有界的。
• 表明 AIS 包含状态、观测和行动空间中的现有近似，并且可以从数据中学习。
• 将 AIS 扩展到去中心化的多智能体场景，并开发基于 AIS 的在线策略梯度算法。

提出的方法

• 通过两个等价条件定义信息状态：(P1) 对性能评估的充分性，以及 (P2) 预测未来统计量的充分性；给出等价的动态规划分解。
• 提出 AIS 作为对历史的压缩，近似满足 (P1) 和 (P2)；推导在 AIS 下的性能损失界限。
• 给出对应于两种信息状态定义的两种等价 AIS 形式，便于两种并行的 DP 构造。
• 将该框架扩展到近似行动空间，以及使用基于公共信息的 AIS 的去中心化（多智能体）系统。
• 开发基于 AIS 的策略梯度算法，通过多时间尺度随机优化学习 AIS 表征。
• 给出理论结果，表明当 AIS 严格满足信息状态性质时，AIS 基策略接近最优。

实验结果

研究问题

• RQ1 信息状态是什么，以及它如何使部分观测系统的动态规划成为可能？
• RQ2 如何定义并量化近似信息状态（AIS），在压缩历史的同时尽量保持近似最优的规划性能？
• RQ3 使用 AIS 相对于精确信息状态时的性能损失界限是什么？
• RQ4 状态、观测和行动空间中的现有近似是否可以被视为 AIS 的实例，它们是否能提供更紧的界限？
• RQ5 如何从数据中学习 AIS 并用于设计在线策略梯度算法以实现 PORL，包括多智能体设置？

主要发现

• AIS 提供了对历史的有原则的压缩，产生近似动态规划，最优性损失有界。
• 状态、观测和行动空间中的许多现有近似方案是 AIS 的特例，其中一些情况提供更紧的界限。
• AIS 可以从数据中学习，使数据驱动的 PORL 成为可能，并对性能下降提供理论保证。
• 该框架通过基于公共信息的 AIS 扩展到去中心化系统，使多智能体 PORL 分析成为可能。
• 推导并在多种环境中验证了基于 AIS 的在线策略梯度方法，具备多学习时尺度。