[논문 리뷰] Action-modulated midbrain dopamine activity arises from distributed control policies

Jack Lindsey, Ashok Litwin-Kumar|arXiv (Cornell University)|2022. 07. 01.

Neurotransmitter Receptor Influence on Behavior인용 수 9

한 줄 요약

이 논문은 기저구조의 행동 조절 기능을 설명하기 위해 생물학적으로 타당한 비정책 기반 강화학습 모델을 제안한다. 이 모델은 보상 예측 오차(RPE) 외에 '행동 놀라움' 항목을 도입하여, 기저구조가 예측한 행동와 실제 행동 간의 이탈을 측정한다. 이는 행동이 다른 뇌 영역(예: 운동 피질, 소뇌)에 의해 유도될 때에도 효과적인 학습을 가능하게 하며, 기존의 정책 기반 모델이 실패하는 상황에서도 작동한다. 또한 이 모델은 운동 관련 도파민 신호, 연습에 따른 감소하는 조절 효과, 그리고 덮개부 및 복합부 Striatum의 기능적 차이를 설명할 수 있다.

ABSTRACT

Animal behavior is driven by multiple brain regions working in parallel with distinct control policies. We present a biologically plausible model of off-policy reinforcement learning in the basal ganglia, which enables learning in such an architecture. The model accounts for action-related modulation of dopamine activity that is not captured by previous models that implement on-policy algorithms. In particular, the model predicts that dopamine activity signals a combination of reward prediction error (as in classic models) and "action surprise," a measure of how unexpected an action is relative to the basal ganglia's current policy. In the presence of the action surprise term, the model implements an approximate form of Q-learning. On benchmark navigation and reaching tasks, we show empirically that this model is capable of learning from data driven completely or in part by other policies (e.g. from other brain regions). By contrast, models without the action surprise term suffer in the presence of additional policies, and are incapable of learning at all from behavior that is completely externally driven. The model provides a computational account for numerous experimental findings about dopamine activity that cannot be explained by classic models of reinforcement learning in the basal ganglia. These include differing levels of action surprise signals in dorsal and ventral striatum, decreasing amounts movement-modulated dopamine activity with practice, and representations of action initiation and kinematics in dopamine activity. It also provides further predictions that can be tested with recordings of striatal dopamine activity.

연구 동기 및 목표

• 기저구조에서 전통적인 정책 기반 강화학습 모델이 외부 제어자(예: 운동 피질, 소뇌)에 의해 유도된 행동에 대해 실패하는 한계를 해결하기 위해.
• 중뇌 도파민 뉴런이 보상 예측 오차(RPE) 외에도 행동 관련 신호(예: 운동 시작, 활기성)를 나타내는 이유를 설명하기 위해.
• RPE와 행동 놀라움을 하나의 생물학적으로 타당한 학습 프레임워크 내에서 통합하여 도파민 활동을 통합적으로 설명하기 위해.
• 행동 놀라움이 복잡한 다단계 과제에서 비정책 행동에 기반한 학습에 필수적임을 입증하기 위해.

제안 방법

• 실제 행동 a와 기저구조가 상태 s에서 예측한 행동 μ(s) 간의 이격도를 측정하는 '행동 놀라움' 항목 ||a − μ(s)||²을 포함한 수정된 도파민 신호를 도입한다.
• 연속된 행동 공간에서 Q-학습의 근사 형태로 알고리즘을 유도하여 비정책 학습을 가능하게 한다.
• 시냅스 가소성이 RPE와 행동 놀라움 신호의 조합에 의해 조절되는 정책 기반 강화학습 프레임워크를 사용한다.
• 도파민 분비가 결과 예측 오차와 행동의 예측된 행동에서의 이탈을 동시에 기반으로 가소성을 조절하는 생물학적으로 타당한 학습 규칙을 적용한다.
• 외부 정책(예: 운동 피질)에 의해 생성된 데이터를 사용하여 이동 및 목표 향한 행동 과제에서의 학습을 시뮬레이션하며, 정책 기반 모델에 비해 뛰어난 성능을 보인다.
• dorsal과 ventral Striatum 간의 행동 놀라움 표현의 비대칭성을 모델링하여, 이 비대칭성이 외부 제어자의 정책 학습을 가속화할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 기저구조의 정책 외에 여러 뇌 영역(예: 운동 피질, 소뇌)이 각기 다른 제어 정책을 가진다 하더라도, 행동이 기저구조의 정책이 아닌 외부 제어자에 의해 유도될 경우, 기저구조는 어떻게 효과적으로 학습할 수 있는가?
• RQ2 왜 중뇌 도파민 뉴런이 보상 예측 오차(RPE) 외에도 행동 관련 활동을 나타내는가?
• RQ3 행동 놀라움이 도파민 신호 전달에서 기능적으로 수행하는 역할은 무엇이며, 기저구조에서 비정책 학습을 어떻게 지원하는가?
• RQ4 왜 연습이 진행될수록 운동 조절 도파민 활동이 감소하는가?
• RQ5 이 모델은 덮개부와 복합부 Striatum 간의 행동 놀라움 표현의 차이를 어떻게 설명할 수 있는가?

주요 결과

• 행동 놀라움을 포함한 모델은 외부 제어자(예: 운동 피질)에 의해 완전히 유도된 행동에서도 효과적인 학습을 가능하게 하며, 정책 기반 모델은 이러한 조건에서 완전히 실패한다.
• 행동 놀라움은 행동 시퀀스가 길고 기저구조의 정책과 외부 제어자의 정책 간 불일치가 발생하는 과제에서 학습에 필수적이다. 기존의 RPE 기반 모델은 이러한 상황에서 실패한다.
• 모델은 실험적으로 관찰된 운동 관련 도파민 활동(행동 시작, 운동 역학과 관련된 신호 포함)을 RPE 외에 별도의 동기 기능을 도입하지 않고도 설명할 수 있다.
• 모델은 덮개부 Striatum의 도파민 뉴런이 복합부 Striatum 뉴런보다 더 강한 행동 놀라움 신호를 나타낼 것임을 예측하며, 이는 덮개부 영역에서 더 강한 운동 조절 신호가 관찰된다는 실험 결과와 일치한다.
• 모델는 연습에 따른 운동 조절 도파민 활동 감소를 행동 놀라움 감소로 인한 결과로 설명할 수 있다. 행동이 점점 더 예측 가능해지기 때문이다.
• 모델는 행동 놀라움이 기저구조에 대해 외부 제어자의 정책을 가속화하는 감독 학습 신호로 작용할 수 있는 메커니즘을 제공한다.