[논문 리뷰] Goal-Driven Cognition in the Brain: A Computational Framework

Randall C. O’Reilly, Thomas E. Hazy외 3명|arXiv (Cornell University)|2014. 04. 30.

Neural and Behavioral Psychology Studies참고 문헌 280인용 수 33

한 줄 요약

이 논문은 뇌에서 목표 지향적 인지가 핵심이 되는 계산적 프레임워크를 제안한다. 이는 목표 선택과 목표 참여라는 두 단계로 구성되며, 각 단계는 고유한 가치 함수를 갖는다. 이는 목표에서 역으로 추론하는 것이 더 계산적으로 효율적임을 주장하며, 동기부여, 임상적 장애, 과도한 유예 행동 등의 다양한 현상을 설명한다. 또한 도파민과 전두엽 피질의 기능에 대해 생물학적으로 타당한 모델을 제공한다.

ABSTRACT

Current theoretical and computational models of dopamine-based reinforcement learning are largely rooted in the classical behaviorist tradition, and envision the organism as a purely reactive recipient of rewards and punishments, with resulting behavior that essentially reflects the sum of this reinforcement history. This framework is missing some fundamental features of the affective nervous system, most importantly, the central role of goals in driving and organizing behavior in a teleological manner. Even when goal-directed behaviors are considered in current frameworks, they are typically conceived of as arising in reaction to the environment, rather than being in place from the start. We hypothesize that goal-driven cognition is primary, and organized into two discrete phases: goal selection and goal engaged, which each have a substantially different effective value function. This dichotomy can potentially explain a wide range of phenomena, playing a central role in many clinical disorders, such as depression, OCD, ADHD, and PTSD, and providing a sensible account of the detailed biology and function of the dopamine system and larger limbic system, including critical ventral and medial prefrontal cortex. Computationally, reasoning backward from active goals to action selection is more tractable than projecting alternative action choices forward to compute possible outcomes. An explicit computational model of these brain areas and their function in this goal-driven framework is described, as are numerous testable predictions from this framework.

연구 동기 및 목표

• 현재 강화 학습 모델의 한계를 해결하기 위해, 행동을 자극과 보상에 반응하는 것으로 보는 것에서 벗어나 목표 중심의 프레임워크를 제안한다.
• 목표가 자극이 아니라 행동 선택을 이끄는 텔로로지컬이고 계산적으로 타당한 방식으로 어떻게 작용하는지 설명한다.
• 우울증, 강박장애, 주의력결핍과잉행동장애, 외상후스트레스장애와 같은 임상 상태에서 도파민과 전두엽 피질이 활성 목표 중심 행동을 어떻게 조직하는지 설명한다.
• 이 목표 지향적 아키텍처의 충분성을 보여주는 생물학적으로 제약된 계산적 모델을 개발한다.
• 목표 역학과 신경 기제 및 행동 결과 사이의 검증 가능한 예측을 제공한다.

제안 방법

• 목표 선택(잠재 목표의 심층 평가)과 목표 참여(선택된 목표 향한 행동 실행)로 구성된 이중 단계 인지 아키텍처를 제안한다.
• 각 단계에 고유한 가치 함수를 도입한다: 목표 선택은 장기적 유틸리티와 비용을 고려하고, 목표 참여에서는 활성 목표 향한 진전을 우선시한다.
• 전두엽 피질과 도파민 시스템을 생물학적으로 유사하게 모델링한 계산적 모델을 사용하여 목표 지향적 행동을 시뮬레이션한다.
• 복잡한 환경에서 계산적 타당성을 높이기 위해, 전방 모델 기반 강화 학습과 대비하여 목표에서 행동으로의 역추론을 적용한다.
• 기본 모드 네트워크를 활동 중이지 않은 상태에서의 에피소딕 목표 재평가 및 계획 상태로 모델링하며, 활동 중인 작업과는 독립적이다.
• 우울증, 강박장애, 주의력결핍과잉행동장애, 외상후스트레스장애에서의 증상과 목표 선택 또는 목표 참여의 기능 저하를 연결하여 임상 통찰을 통합한다.

실험 결과

연구 질문

• RQ1 목표 중심 프레임워크는 자극-반응 학습보다 텔로로지컬 행동의 계산적 이점을 어떻게 설명할 수 있는가?
• RQ2 목표 선택과 목표 참여를 뒷받침하는 별개의 신경 및 계산적 메커니즘은 무엇인가?
• RQ3 이중 단계 가치 함수 모델은 어떻게 과도한 유예 행동과 즉흥성을 설명하는가?
• RQ4 이 프레임워크는 계획 및 재평가 기능을 수행하는 기본 모드 네트워크의 역할을 어떻게 설명하는가?
• RQ5 이 모델은 도파민의 동기부여 및 목표 추구 기능을 생물학적으로 어떻게 설명하는가?

주요 결과

• 목표 지향적 프레임워크는 과도한 유예 행동을 목표 선택의 합리적 결과로 설명한다. 즉, 즉각적이고 노력이 적은 목표가 장기적 과제보다 선호된다.
• 모델는 목표가 선택된 후에는 이전의 비용-편익 평가를 초월하여 목표 향한 진전을 추구하는 데 높은 동기를 가진다는 것을 보여준다.
• 이 프레임워크는 우울증, 강박장애, 주의력결핍과잉행동장애, 외상후스트레스장애의 임상적 증상이 목표 선택 또는 목표 참여 단계의 기능 이상으로 기인한다는 점을 설명한다.
• 기본 모드 네트워크는 에피소딕 목표 재평가를 위한 신경 기반 기초로 제안되며, 휴식 상태나 작업 시작 전에 활성화된다.
• 특히 복잡한 환경에서 전방 모델 기반 계획보다 목표에서 행동으로의 역추론이 더 계산적으로 효율적임을 보여준다.
• 모델는 과제의 첫 번째 단계를 매우 쉽게 만들면 목표 참여 피드백 루프가 유도되어 과제 시작이 가능하다는 것을 입증한다.