[论文解读] Unsupervised Basis Function Adaptation for Reinforcement Learning

Edward W. Barker, Charl Ras|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出PASA（概率自适应状态聚合），一种用于强化学习的无监督基函数自适应方法，通过访问频率动态优化状态聚合。在策略和转移动态满足温和假设的前提下，当 $ X \geq K\sqrt{S}\ln S\log_2 S $ 时，该方法在 $ O(X\log_2 S) $ 空间复杂度下实现近似零均方贝尔曼误差，且时间复杂度可忽略不计。

ABSTRACT

When using reinforcement learning (RL) algorithms to evaluate a policy it is common, given a large state space, to introduce some form of approximation architecture for the value function (VF). The exact form of this architecture can have a significant effect on the accuracy of the VF estimate, however, and determining a suitable approximation architecture can often be a highly complex task. Consequently there is a large amount of interest in the potential for allowing RL algorithms to adaptively generate approximation architectures. We investigate a method of adapting approximation architectures which uses feedback regarding the frequency with which an agent has visited certain states to guide which areas of the state space to approximate with greater detail. This method is "unsupervised" in the sense that it makes no direct reference to reward or the VF estimate. We introduce an algorithm based upon this idea which adapts a state aggregation approximation architecture on-line. A common method of scoring a VF estimate is to weight the squared Bellman error of each state-action by the probability of that state-action occurring. Adopting this scoring method, and assuming $S$ states, we demonstrate theoretically that - provided (1) the number of cells $X$ in the state aggregation architecture is of order $\sqrt{S}\log_2{S}\ln{S}$ or greater, (2) the policy and transition function are close to deterministic, and (3) the prior for the transition function is uniformly distributed - our algorithm, used in conjunction with a suitable RL algorithm, can guarantee a score which is arbitrarily close to zero as $S$ becomes large. It is able to do this despite having only $O(X \log_2S)$ space complexity and negligible time complexity. The results take advantage of certain properties of the stationary distributions of Markov chains.

研究动机与目标

• 解决在大规模状态空间强化学习问题中选择有效值函数逼近架构的挑战。
• 探索仅基于状态访问频率的无监督方法是否能在不依赖奖励或值函数误差信号的情况下有效引导基函数自适应。
• 从理论上建立此类无监督自适应在策略评估中可实现任意低贝尔曼误差的条件。
• 证明该方法在极低计算和内存开销下仍能实现高精度，使其适用于大规模问题。

提出的方法

• PASA 使用在线估计的状态访问频率来指导状态聚合单元的细化，为频繁访问的状态分配更多单元。
• 该算法将状态空间动态划分为 $ X $ 个单元，使得高访问频率状态获得更精细的表示。
• 它利用马尔可夫链平稳分布的性质，对状态的期望访问次数和访问次数的方差进行建模。
• 该方法确保在单元数量足够多时，所有高访问频率状态最终都会被隔离为独立单元，从而最小化近似误差。
• 理论分析利用切比雪夫不等式来界定访问次数超过阈值的概率，从而实现误差控制。
• 该方法假设转移函数具有均匀先验，并且策略接近确定性，以推导收敛性保证。

实验结果

研究问题

• RQ1 仅基于状态访问频率的无监督自适应能否在策略评估中产生接近最优精度的值函数逼近？
• RQ2 当状态空间大小 $ S $ 增大时，保证任意低贝尔曼误差所需的最小聚合单元数 $ X $ 是多少？
• RQ3 该自适应方法的空间和时间复杂度如何随 $ S $ 变化？是否能在保持强理论性能的同时保持高效？
• RQ4 在何种策略和转移函数条件下，该方法能保证收敛到低误差的值函数估计？
• RQ5 当真实值函数未知且无直接误差信号时，该方法是否仍能保持精度？

主要发现

• 当 $ X \geq K\sqrt{S}\ln S\log_2 S $ 且 $ K > \sqrt{\pi/8} $ 时，该方法在 $ S \to \infty $ 的极限下，以至少 $ 1 - \epsilon_1 $ 的概率保证均方贝尔曼误差 $ L \leq \epsilon_2 $。
• 空间复杂度为 $ O(X\log_2 S) $，时间复杂度可忽略不计，表明该方法具有高度效率。
• 状态访问次数的期望受 $ \mathrm{E}(C) < \mathrm{E}(C_1)(\ln S + 1) $ 限制，方差满足 $ \mathrm{Var}(C) \leq O(S\ln S) $，支持理论边界。
• 当 $ C\log_2 S \leq X $ 时，该方法可确保高访问频率集合 $ \mathcal{C} $ 中的每个状态最终都被分配到独立单元，从而消除这些状态的近似误差。
• 理论保证在温和假设下成立：$ X $ 足够大，策略和转移函数接近确定性，且转移函数的先验为均匀分布。
• 该方法对转移动态的不确定性具有鲁棒性，且无需显式估计值函数误差，从而降低了计算成本。