[论文解读] General non-linear Bellman equations

Hado van Hasselt, John Quan+4 more|arXiv (Cornell University)|Jul 8, 2019

Reinforcement Learning in Robotics参考文献 29被引用 7

一句话总结

本文引入了一类广义的非线性贝尔曼方程，通过用任意非线性变换替代标准强化学习中的线性折扣，扩展了标准强化学习。在温和条件下证明了其收敛性，并表明此类非线性特性可建模类人类的偏好反转行为并提升学习性能，为强化学习算法提供了比传统线性折扣更丰富的设计空间。

ABSTRACT

We consider a general class of non-linear Bellman equations. These open up a design space of algorithms that have interesting properties, which has two potential advantages. First, we can perhaps better model natural phenomena. For instance, hyperbolic discounting has been proposed as a mathematical model that matches human and animal data well, and can therefore be used to explain preference orderings. We present a different mathematical model that matches the same data, but that makes very different predictions under other circumstances. Second, the larger design space can perhaps lead to algorithms that perform better, similar to how discount factors are often used in practice even when the true objective is undiscounted. We show that many of the resulting Bellman operators still converge to a fixed point, and therefore that the resulting algorithms are reasonable and inherit many beneficial properties of their linear counterparts.

研究动机与目标

• 通过引入奖励和未来值的非线性变换，扩展标准线性贝尔曼方程，拓宽强化学习算法的设计空间。
• 研究非线性贝尔曼方程是否能更好地建模人类和动物行为中观察到的自然现象，如双曲折扣和偏好反转。
• 评估非线性公式是否能在真实目标未折扣的情况下，带来更高效的样本利用或更高性能的学习算法。
• 建立非线性贝尔曼算子收敛到不动点的理论条件，确保算法的稳定性，并继承线性对应物的优良性质。

提出的方法

• 提出广义的非线性贝尔曼方程：$ v(s) = \mathbb{E}[f(R_{t+1}, v(S_{t+1})) \mid S_t = s, A_t \sim \pi(S_t)] $，其中 $ f $ 是即时奖励与下一状态值的非线性函数。
• 考虑三种具体子类：非线性奖励变换（$ f(r,v) = g(r) + \gamma v $）、非线性值变换（$ f(r,v) = r + g(v) $）和非线性目标变换（$ f(r,v) = h(r + g(v)) $）。
• 以幂次折扣作为具体示例：$ g_{\gamma}(v) = \kappa((|v|+1)^{\gamma} - 1) \cdot \text{sign}(v) $，该函数满足单调性与对称性等关键性质。
• 分析所得贝尔曼算子的压缩性质，证明当非线性函数复合后的Lipschitz常数满足 $ \kappa \leq 1 $ 时，算子收敛。
• 使用时序差分学习方法，通过交互数据迭代采样和更新价值估计，实现无模型学习。
• 结合理论分析与示例（如随机转移下的风险规避行为）展示其与线性折扣的差异行为特征。

实验结果

研究问题

• RQ1 非线性贝尔曼方程能否建模人类和动物决策中的偏好反转现象，如双曲折扣下所观察到的？
• RQ2 对奖励或值的非线性变换是否能在真实目标未折扣的情况下，提升预测与控制任务的学习性能？
• RQ3 非线性贝尔曼算子在何种条件下收敛到不动点，以确保算法稳定性？
• RQ4 在具有不确定结果的随机环境中，非线性函数（如幂次折扣）的选择如何影响智能体的行为？
• RQ5 非线性价值函数是否能捕捉比线性形式更丰富的预测信息，从而帮助智能体学习更复杂的环境模型？

主要发现

• 由 $ f(r,v) = h(r + g(v)) $ 定义的非线性贝尔曼算子，若 $ h $ 和 $ g $ 均为Lipschitz连续且其复合函数的Lipschitz常数 $ \kappa \leq 1 $，则收敛至唯一不动点，确保稳定性。
• 幂次折扣函数 $ g_{\gamma}(v) = \kappa((|v|+1)^{\gamma} - 1) \cdot \text{sign}(v) $ 满足关键期望特性：为奇函数（对称）、单调，并退化为短视（$ \gamma=0 $）和未折扣（$ \gamma=1 $）情形。
• 在随机环境中，如幂次折扣等非线性变换可导致偏好反转：当 $ p $ 较小时，智能体可能更偏好确定的1单位奖励，而非数学期望更高的随机奖励（如 $ 2/p $）。
• 对于幂次折扣，即使随机选项的期望值更高，其动作差距（action gap）仍可能变为负值（偏好确定选项），表明非线性性可诱导风险规避。
• 本文表明，非线性贝尔曼方程可解释标准指数折扣无法捕捉的数据，如跨期选择中的偏好反转现象。
• 非线性贝尔曼方程开辟了更广阔的设计空间，可能带来性能更优的强化学习算法，类似于折扣机制即使在真实目标未折扣时也能提升性能。