[論文レビュー] Goal-Driven Cognition in the Brain: A Computational Framework

Randall C. O’Reilly, Thomas E. Hazy+3 more|arXiv (Cornell University)|Apr 30, 2014

Neural and Behavioral Psychology Studies参考文献 280被引用数 33

ひとこと要約

本論文は、脳における目的志向的認知を核とする計算フレームワークを提唱する。このフレームワークは、行動を組織化する二つの段階、すなわち目的選択と目的参加のそれぞれに固有の価値関数を持つ。目的から逆方向に推論することで、計算的により効率的であり、動機づけ、臨床的障害、プロクラスティネーションの多様な現象を説明する。ドーパミンと前頭前野の機能について生物学的に妥当なモデルを提供する。

ABSTRACT

Current theoretical and computational models of dopamine-based reinforcement learning are largely rooted in the classical behaviorist tradition, and envision the organism as a purely reactive recipient of rewards and punishments, with resulting behavior that essentially reflects the sum of this reinforcement history. This framework is missing some fundamental features of the affective nervous system, most importantly, the central role of goals in driving and organizing behavior in a teleological manner. Even when goal-directed behaviors are considered in current frameworks, they are typically conceived of as arising in reaction to the environment, rather than being in place from the start. We hypothesize that goal-driven cognition is primary, and organized into two discrete phases: goal selection and goal engaged, which each have a substantially different effective value function. This dichotomy can potentially explain a wide range of phenomena, playing a central role in many clinical disorders, such as depression, OCD, ADHD, and PTSD, and providing a sensible account of the detailed biology and function of the dopamine system and larger limbic system, including critical ventral and medial prefrontal cortex. Computationally, reasoning backward from active goals to action selection is more tractable than projecting alternative action choices forward to compute possible outcomes. An explicit computational model of these brain areas and their function in this goal-driven framework is described, as are numerous testable predictions from this framework.

研究の動機と目的

• 現在の強化学習モデルが行動を刺激や報酬に反応するものとして扱うという限界を克服し、目的を最優先とするフレームワークを提唱すること。
• 目的が刺激よりも行動選択をどのように目的論的かつ計算的に扱える形で駆動するかを説明すること。
• 特にうつ病、強迫性障害（OCD）、ADHD、PTSDなどの臨床状態において、ドーパミンと前頭前野がアクティブな目的を中心に行動を組織づける役割を説明すること。
• この目的志向的アーキテクチャの十分性を示す、生物学的制約を考慮した計算モデルを開発すること。
• 目的のダイナミクスと神経機構、行動的結果を結びつける検証可能な予測を提示すること。

提案手法

• 二段階の認知アーキテクチャを提唱：目的選択（潜在的な目的の熟慮的評価）と目的参加（選択された目的に向かう行動の実行）。
• 各段階に固有の価値関数を導入：目的選択では長期的利得とコストを重視し、目的参加ではアクティブな目的への進行を最優先する。
• 前頭前野とドーパミン系の生物学的インスピレーションに基づく計算モデルを用いて、目的志向的行動をシミュレートする。
• 前向きなモデルベース強化学習とは対照的に、目的から行動へと逆方向に推論することで、計算的妥当性を向上させる。
• 通常状態ネットワーク（default mode network）を、アクティブなタスク参加とは独立して、エピソード的目標の再評価と計画の状態としてモデル化する。
• 臨床的知見を統合し、目的選択または目的参加の不調和が、うつ病、OCD、ADHD、PTSDの症状と関連することを示す。

実験結果

リサーチクエスチョン

• RQ1 目的志向のフレームワークは、刺激・反応学習と比較して、目的論的行動が計算的にどのように優位であるかを説明できるか？
• RQ2 目的選択と目的参加の背後にある神経的および計算的メカニズムは、それぞれどのように異なるか？
• RQ3 二段階価値関数モデルは、プロクラスティネーションと衝動的行動をどのように説明できるか？
• RQ4 このフレームワークは、計画と再評価において通常状態ネットワークが果たす役割をどのように説明できるか？
• RQ5 このモデルは、ドーパミンが動機づけと目的達成に果たす生物学的機能をどのように説明できるか？

主な発見

• 目的志向のフレームワークは、プロクラスティネーションを、長期的タスクよりも即時の低負荷タスクを好む目的選択の合理的な結果として説明できる。
• モデルは、目的が選択されると、システムがその目的に向かう進行を強く動機づけ、以前のコスト・ベネフィット評価を無視する傾向があることを示している。
• このフレームワークは、うつ病、OCD、ADHD、PTSDの臨床的症状を、目的選択または目的参加段階の不調和によって説明できる。
• 通常状態ネットワークは、休息時やタスク開始前において、エピソード的目標の再評価の神経基盤として提案される。
• 目的から行動へと逆方向に推論することで、特に複雑な環境では、前向きなモデルベース計画よりも計算的に効率的である。
• モデルは、タスクの第一歩を極めて簡単なものにすることで、目的参加のフィードバックループを引き起こし、タスク開始を促進できることを示している。