[论文解读] Inverse Rational Control with Partially Observable Continuous Nonlinear Dynamics

Minhae Kwon, Saurabh Daptardar+2 more|PubMed|Sep 26, 2020

Reinforcement Learning in Robotics参考文献 64被引用 16

一句话总结

本文提出了一种新颖的逆向有理控制（IRC）框架，可在连续、非线性、部分可观察的环境中联合推断次优智能体的奖励函数与内部动力学模型。通过深度强化学习训练一个贝叶斯最优控制集合，覆盖参数化模型族中的全部动力学与主观奖励函数，该方法利用梯度上升最大化观测轨迹的似然性，成功地从有限的行为数据中恢复出真实内部模型参数。

ABSTRACT

A fundamental question in neuroscience is how the brain creates an internal model of the world to guide actions using sequences of ambiguous sensory information. This is naturally formulated as a reinforcement learning problem under partial observations, where an agent must estimate relevant latent variables in the world from its evidence, anticipate possible future states, and choose actions that optimize total expected reward. This problem can be solved by control theory, which allows us to find the optimal actions for a given system dynamics and objective function. However, animals often appear to behave suboptimally. Why? We hypothesize that animals have their own flawed internal model of the world, and choose actions with the highest expected subjective reward according to that flawed model. We describe this behavior as <i>rational</i> but not optimal. The problem of Inverse Rational Control (IRC) aims to identify which internal model would best explain an agent's actions. Our contribution here generalizes past work on Inverse Rational Control which solved this problem for discrete control in partially observable Markov decision processes. Here we accommodate continuous nonlinear dynamics and continuous actions, and impute sensory observations corrupted by unknown noise that is private to the animal. We first build an optimal Bayesian agent that learns an optimal policy generalized over the entire model space of dynamics and subjective rewards using deep reinforcement learning. Crucially, this allows us to compute a likelihood over models for experimentally observable action trajectories acquired from a suboptimal agent. We then find the model parameters that maximize the likelihood using gradient ascent. Our method successfully recovers the true model of rational agents. This approach provides a foundation for interpreting the behavioral and neural dynamics of animal brains during complex tasks.

研究动机与目标

• 解决现有逆向控制方法在连续、非线性、部分可观察系统中无法联合推断奖励与动力学的问题。
• 将动物行为建模为‘有理性但非最优’——即根据其有缺陷的内部模型进行最优行动，而非绝对意义上的次优行为。
• 开发一种可扩展的方法，仅从可观测的动作轨迹中推断潜在的内部模型（包括信念与主观动力学）。
• 将逆向控制扩展至具有未知私有感官噪声的连续状态与动作空间，使其适用于真实神经科学数据。
• 为通过类心智理论的内部认知推断方法解释复杂自然任务中的神经与行为动态，提供理论基础。

提出的方法

• 使用深度强化学习训练一个贝叶斯最优控制集合，以在任务动力学与主观奖励函数的整个参数化族上实现泛化。
• 使用信念MDP表示智能体的信念状态，并通过约束估计器（如扩展卡尔曼滤波器）进行信念更新，以建模有限理性。
• 将IRC问题表述为对可观测状态-动作轨迹的似然最大化，对未观测到的感官观测进行边缘化处理。
• 采用最大似然估计（MLE）与蒙特卡洛期望最大化（MCEM）相结合的混合方法，以优化模型参数。
• 使用梯度上升方法，最大化在智能体推断出的内部模型下，观测轨迹的近似对数似然。
• 使用基于物理的模型对任务动力学与奖励进行参数化，从而实现在具有相同结构形式的关联任务间的泛化。

实验结果

研究问题

• RQ1 我们能否在连续、非线性、部分可观察环境中，联合推断次优智能体的奖励函数与内部动力学模型？
• RQ2 我们如何将智能体的行为建模为依据其自身有缺陷的内部模型的有理性行为，而非绝对意义上的次优行为？
• RQ3 从仅可观测的动作与状态轨迹中，推断潜在内部模型参数（包括信念与动力学）的最有效方法是什么？
• RQ4 即使在行为数据有限且私有感官噪声未知的情况下，我们能否实现对内部模型参数的准确恢复？
• RQ5 所提出的方法在高维、非线性、连续状态与动作空间中是否具备可扩展性，而这些场景正是先前IRC方法失效之处？

主要发现

• 所提出的IRC框架成功恢复了模拟智能体的真实内部模型参数，在所有参数维度上，估计值均与真实值高度吻合。
• 即使在行为数据有限的情况下，该方法在合成实验中也表现出极高的参数恢复精度，显示出对真实模型的收敛能力。
• 对数似然景观图（图4B）显示，算法清晰收敛至全局最大值，表明对似然目标函数的优化具有鲁棒性。
• 该方法通过联合推断奖励与动力学，优于现有方法，而这一能力在现有连续非线性系统的IRL或IOC框架中尚不具备。
• 贝叶斯最优控制集合的使用实现了在整个模型空间上的泛化，使对多样化任务参数的似然计算成为可能。
• 该框架是首个在具有私有感官噪声的连续、非线性、部分可观察系统中解决IRC问题的方法，填补了逆向控制理论中的关键空白。