[论文解读] Goal-Driven Cognition in the Brain: A Computational Framework

Randall C. O’Reilly, Thomas E. Hazy+3 more|arXiv (Cornell University)|Apr 30, 2014

Neural and Behavioral Psychology Studies参考文献 280被引用 33

一句话总结

本文提出一种计算框架，其中以目标为导向的认知在大脑中占据主导地位，通过两个不同阶段组织行为：目标选择和目标投入，每个阶段具有独特的价值函数。该框架认为，从目标反向推理比传统方法更具计算效率，并能解释动机、临床障碍和拖延行为等多样现象，提供了一个关于多巴胺和前额叶皮层功能的生物学上合理的模型。

ABSTRACT

Current theoretical and computational models of dopamine-based reinforcement learning are largely rooted in the classical behaviorist tradition, and envision the organism as a purely reactive recipient of rewards and punishments, with resulting behavior that essentially reflects the sum of this reinforcement history. This framework is missing some fundamental features of the affective nervous system, most importantly, the central role of goals in driving and organizing behavior in a teleological manner. Even when goal-directed behaviors are considered in current frameworks, they are typically conceived of as arising in reaction to the environment, rather than being in place from the start. We hypothesize that goal-driven cognition is primary, and organized into two discrete phases: goal selection and goal engaged, which each have a substantially different effective value function. This dichotomy can potentially explain a wide range of phenomena, playing a central role in many clinical disorders, such as depression, OCD, ADHD, and PTSD, and providing a sensible account of the detailed biology and function of the dopamine system and larger limbic system, including critical ventral and medial prefrontal cortex. Computationally, reasoning backward from active goals to action selection is more tractable than projecting alternative action choices forward to compute possible outcomes. An explicit computational model of these brain areas and their function in this goal-driven framework is described, as are numerous testable predictions from this framework.

研究动机与目标

• 为解决当前强化学习模型的局限性，即行为被视作对刺激和奖励的被动反应，提出一种以目标为先的框架。
• 解释目标如何而非刺激，以一种目的论的、计算上可行的方式驱动行动选择。
• 说明多巴胺和前额叶皮层在围绕活跃目标组织行为中的作用，尤其在抑郁症、强迫症、多动症和创伤后应激障碍等临床状况中。
• 开发一个生物约束的计算模型，证明该以目标为导向的架构的充分性。
• 提出可检验的预测，将目标动力学与神经机制及行为结果联系起来。

提出的方法

• 提出双阶段认知架构：目标选择（对潜在目标的审慎评估）和目标投入（执行朝向选定目标的行动）。
• 为每个阶段引入不同的价值函数：目标选择权衡长期效用与成本，而目标投入则优先考虑向当前目标的进展。
• 使用受生物学启发的前额叶皮层与多巴胺系统计算模型，模拟以目标为导向的行为。
• 采用从目标反向推理至行动的方法，与基于前向模型的强化学习形成对比，以提高计算可行性。
• 将默认模式网络建模为一种情景性目标重新评估与规划的状态，独立于主动任务参与而存在。
• 通过将目标选择或投入的失调与抑郁症、强迫症、多动症和创伤后应激障碍的症状联系起来，整合临床洞察。

实验结果

研究问题

• RQ1 以目标为先的框架如何解释目的论行为相对于刺激-反应学习的计算优势？
• RQ2 目标选择与目标投入背后的神经与计算机制有何不同？
• RQ3 双阶段价值函数模型如何解释拖延与冲动行为？
• RQ4 该框架在何种方式上能解释默认模式网络在规划与重新评估中的作用？
• RQ5 该模型如何解释多巴胺在动机与目标追求中的生物学功能？

主要发现

• 以目标为导向的框架将拖延解释为一种理性结果：在目标选择阶段，系统更倾向于选择即时、低努力的目标，而非长期任务。
• 模型表明，一旦目标被投入，系统会高度激励向其推进，从而覆盖先前的成本-收益评估。
• 该框架通过目标选择或投入阶段的失调，解释了抑郁症、强迫症、多动症和创伤后应激障碍的临床症状。
• 默认模式网络被提议作为情景性目标重新评估的神经基质，活跃于休息状态及任务启动前。
• 从目标反向推理至行动在计算上比前向模型规划更高效，尤其在复杂环境中。
• 模型表明，使任务的第一步变得极其简单，可触发目标投入的反馈回路，从而实现任务启动。