[论文解读] A Unified Bellman Equation for Causal Information and Value in Markov Decision Processes

Stas Tiomkin, Naftali Tishby|arXiv (Cornell University)|Mar 5, 2017

Reinforcement Learning in Robotics参考文献 20被引用 23

一句话总结

本文提出了一种统一的贝尔曼方程，联合建模马尔可夫决策过程（MDPs）中的因果信息流与价值，整合了环境到智能体的定向信息（信息约束）和智能体到环境的定向信息（动作容量）。该文推导出无限时域下定向信息的自洽贝尔曼递归，使在信息论约束下分析最优智能体行为成为可能，并通过一个消防站选址任务的数值验证，展示了收敛性以及与最短路径解的定性一致性。

ABSTRACT

The interaction between an artificial agent and its environment is bi-directional. The agent extracts relevant information from the environment, and affects the environment by its actions in return to accumulate high expected reward. Standard reinforcement learning (RL) deals with the expected reward maximization. However, there are always information-theoretic limitations that restrict the expected reward, which are not properly considered by the standard RL. In this work we consider RL objectives with information-theoretic limitations. For the first time we derive a Bellman-type recursive equa- tion for the causal information between the environment and the agent, which is combined plausibly with the Bellman recursion for the value function. The unified equitation serves to explore the typical behavior of artificial agents in an infinite time horizon.

研究动机与目标

• 形式化强化学习中智能体与环境之间双向信息流在信息论约束下的建模。
• 推导出从环境到智能体的定向信息的贝尔曼型递归方程，建模信息速率限制对奖励最大化的制约。
• 通过推导从智能体到环境的定向信息的第二个贝尔曼方程，扩展框架，捕捉智能体影响环境的能力。
• 将两个信息通道统一到单一递归框架中，用于分析无限时域MDP中的典型最优行为。
• 为智能体提供一个实用的设计准则：智能体的信息处理速率必须超过求解给定MDP所需的最低速率。

提出的方法

• 基于状态与动作轨迹在时间上的联合分布，推导出从环境到智能体的定向信息的贝尔曼型递归。
• 提出一种自洽的迭代算法以求解统一的信息-价值贝尔曼方程，利用状态空间与动作空间上的矩阵运算。
• 将统一方程应用于同时建模智能体的期望奖励与信息流，通过定向信息的相对变化监控收敛性。
• 在网格世界消防站选址问题上对方法进行数值验证，将定向信息值与精确的最短路径平均值进行比较。
• 将定向信息作为状态-动作联合分布的泛函，量化双向的信息传输速率。
• 采用类似李雅普诺夫的结构，确保迭代求解过程的稳定性和收敛性。

实验结果

研究问题

• RQ1 在无限时域条件下，如何在马尔可夫决策过程中递归建模从环境到智能体的定向信息？
• RQ2 能否构建一个统一的贝尔曼方程，同时捕捉强化学习中价值函数的演化与因果信息流？
• RQ3 从智能体到环境的定向信息在塑造MDP中长期最优行为方面起什么作用？
• RQ4 智能体的信息处理速率与在信息约束下求解给定MDP所需的最低速率之间有何关系？
• RQ5 从统一贝尔曼方程推导出的解与经典优化解（如所有点对最短路径）在多大程度上一致？

主要发现

• 所提出的统一贝尔曼方程成功在一个单一递归框架中建模了价值与因果信息，实现了对智能体行为的无限时域分析。
• 统一方程的迭代求解过程在状态数上呈次线性收敛，每次迭代需O(|S|×|A|)次操作，显著快于Floyd-Warshall或Dijkstra类算法。
• 数值仿真表明，该算法计算出的定向信息值与精确最短路径平均值呈现出定性相似的模式，最高值（红色方块）指示了最优消防站位置。
• 在无墙城市中，基于定向信息方法得出的最优消防站位置与所有点对最短路径计算结果完全一致。
• 结果表明，从智能体到环境的定向信息对于需要智能体平均而言能对任意目标状态做出最优响应的问题具有实际价值，而不仅限于特定目标。
• 该框架确立了智能体的信息处理速率必须超过实现最优性能所需的最低速率，为人工智能体的设计提供了明确准则。