[논문 리뷰] Thalamocortical contribution to solving credit assignment in neural systems

Mien Brabeeba Wang, Michael M. Halassa|arXiv (Cornell University)|2021. 04. 03.

Neural dynamics and brain function참고 문헌 153인용 수 4

한 줄 요약

이 논문은 척수피질-기저구조계 시스템이 척수의 제어 기능(감각 필터링, 작업 기억 게이팅, 운동 준비 등)을 사용하여 피질 활동 연관성을 매개화함으로써 메타학습을 가능하게 한다고 제안한다. 기저구조계의 강화학습을 통해 빠른(맥락 기반) 및 느린(일반화 기반) 시간스케일에서 이러한 기능을 계층적으로 선택함으로써, 신경 회로에서 구조적, 맥락적, 시간적 신용 할당 문제를 효율적으로 해결한다.

ABSTRACT

Animal brains evolved to optimize behavior in dynamically changing environments, selecting actions that maximize future rewards. A large body of experimental work indicates that such optimization changes the wiring of neural circuits, appropriately mapping environmental input onto behavioral outputs. A major unsolved scientific question is how optimal wiring adjustments, which must target the connections responsible for rewards, can be accomplished when the relation between sensory inputs, action taken, environmental context with rewards is ambiguous. The computational problem of properly targeting cues, contexts and actions that lead to reward is known as structural, contextual and temporal credit assignment respectively. In this review, we survey prior approaches to these three types of problems and advance the notion that the brain's specialized neural architectures provide efficient solutions. Within this framework, the thalamus with its cortical and basal ganglia interactions serve as a systems-level solution to credit assignment. Specifically, we propose that thalamocortical interaction is the locus of meta-learning where the thalamus provides cortical control functions that parametrize the cortical activity association space. By selecting among these control functions, the basal ganglia hierarchically guide thalamocortical plasticity across two timescales to enable meta-learning. The faster timescale establishes contextual associations to enable rapid behavioral flexibility while the slower one enables generalization to new contexts. Incorporating different thalamic control functions under this framework clarifies how thalamocortical-basal ganglia interactions may simultaneously solve the three credit assignment problems.

연구 동기 및 목표

• 복잡하고 동적인 환경에서 신경 회로가 특정 자극, 맥락, 행동에 대해 신용 할당을 어떻게 수행하는지에 대한 해결되지 않은 문제를 다루기 위해.
• 피드백이 지연되고 모호한 생물학적 회로에서 난이도 높은 역전파 유사 학습의 한계를 극복하는 데 뇌가 어떻게 작용하는지 설명하기 위해.
• 척수피질 상호작용과 기저구조계 조절을 중심으로 하는 체계 수준의 메커니즘을 제안하여 효율적이고 생물학적으로 타당한 신용 할당을 가능하게 하기 위해.
• 구조적, 맥락적, 시간적 세 가지 다른 신용 할당 문제를 척수의 피질 플라스티시티 제어를 포함한 단일 프레임워크로 통합하기 위해.

제안 방법

• 척수가 피질 제어 기능을 제공함으로써 피질 활동 연관성 공간을 매개화하는 방식으로 메타러닝자 역할을 한다고 제안한다.
• 두 가지 시간스케일 학습 프레임워크를 도입한다: 척수피질 회로의 빠른 플라스티시티가 맥락 적응을 가능하게 하고, 느린 플라스티시티가 일반화 가능한 표현을 공고히 한다.
• 전전두피질(PFC) 작업 기억의 유효 시간 상수를 척수 입력(r_MD)의 함수로 모델링하며, 식 τ_eff = τ / [1 - (1 + r_MD)w_PFC f(inp_PFC)(1 - f(inp_PFC))] 를 사용한다. 여기서 r_MD는 기억 지속성에 영향을 미친다.
• 기저구조계의 강화학습을 사용하여 척수 제어 기능을 선택하고 조정함으로써, 어떤 피질 연관성이 강화될지 게이팅한다.
• 척수 출력을 특정 피질 반복 연결성을 동적으로 증폭하는 도구로 프레임화함으로써, 작업에 관련된 정보를 선택적으로 유지할 수 있도록 한다.
• 피질-척수 피드백을 통합함으로써 기저구조계에 의존하는 장기 기억 유지에 대한 의존도를 줄이고, 학습된 연관성의 장기 공고화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 보상 신호가 지연되고 모호할 때 뇌는 어떻게 특정 감각 자극, 내부 상태, 행동에 대해 신용 할당을 수행할 수 있는가?
• RQ2 왜곡 기억을 일으키지 않고 변화하는 맥락에서 빠른 행동 유연성을 유지할 수 있는 신경 기제는 무엇인가?
• RQ3 뇌는 장기간 지속되는 지연 동안 과거의 감각 자극과 행동의 관련성을 어떻게 유지할 수 있는가?
• RQ4 신경 회로의 신용 할당 문제 해결에서 척수는 단순한 중계 기능을 넘어 어떤 역할을 하는가?
• RQ5 생물학적으로 타당한 시스템은 맥락 간 일반화를 가능하게 하면서도 작업 특이적 연관성을 유지할 수 있는 메타학습을 어떻게 구현할 수 있는가?

주요 결과

• 척수피질 시스템은 동적인 척수 제어 기능을 통해 피질 활동 연관성을 매개화함으로써 메타학습의 중심이 된다.
• 기저구조계는 강화학습을 통해 척수 제어 기능을 계층적으로 선택함으로써 두 가지 시간스케일 학습(빠른 맥락 적응, 느린 일반화)을 가능하게 한다.
• 전전두피질 작업 기억의 유효 시간 상수는 척수 입력(r_MD)에 의해 조절되며, r_MD가 높을수록 기억 지속성이 증가하고 시간적 신용 할당이 가능해진다.
• 척수 출구를 통해 기능적 피질 반복 연결성을 선택적으로 증폭함으로써, 시스템은 파편화된 기억 없이도 작업에 관련된 정보를 유지할 수 있다.
• 이 프레임워크는 동일한 신경 구조가 척수피질 및 기저구조계의 동적 상호작용을 통해 동시에 구조적, 맥락적, 시간적 신용 할당 문제를 해결할 수 있음을 설명한다.
• 피질-척수 피드백은 장기간에 걸친 작업 기억 유지에 기저구조계에 대한 의존도를 줄여주며, 학습된 연관성의 장기 공고화를 가능하게 한다.