[논문 리뷰] Predictive auxiliary objectives in deep RL mimic learning in the brain

Ching Fang, Kimberly Stachenfeld|arXiv (Cornell University)|2023. 10. 09.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 딥 강화학습(DRL)에서 예측 보조 목적이 뇌에서 관찰되는 신경 표현 동역학을 모방함을 보여주며, 예측 헤드는 해마 기능을 유사하게 반영하고, 인코더는 시각 피질을 유사하게 반영한다. 이 목적이 자원 제한된 네트워크에서 학습을 안정화시키고, 더 긴 수평선을 가진 전이 학습을 향상시키며, 생물학적 데이터와 일치하는 표현 변화를 이끌어낸다.

ABSTRACT

The ability to predict upcoming events has been hypothesized to comprise a key aspect of natural and machine cognition. This is supported by trends in deep reinforcement learning (RL), where self-supervised auxiliary objectives such as prediction are widely used to support representation learning and improve task performance. Here, we study the effects predictive auxiliary objectives have on representation learning across different modules of an RL system and how these mimic representational changes observed in the brain. We find that predictive objectives improve and stabilize learning particularly in resource-limited architectures, and we identify settings where longer predictive horizons better support representational transfer. Furthermore, we find that representational changes in this RL system bear a striking resemblance to changes in neural activity observed in the brain across various experiments. Specifically, we draw a connection between the auxiliary predictive model of the RL system and hippocampus, an area thought to learn a predictive model to support memory-guided behavior. We also connect the encoder network and the value learning network of the RL system to visual cortex and striatum in the brain, respectively. This work demonstrates how representation learning in deep RL systems can provide an interpretable framework for modeling multi-region interactions in the brain. The deep RL perspective taken here also suggests an additional role of the hippocampus in the brain -- that of an auxiliary learning system that benefits representation learning in other regions.

연구 동기 및 목표

• 딥 RL에서 예측 보조 목적이 표현을 어떻게 형성하는지, 그리고 이러한 변화가 뇌의 신경 동역학과 얼마나 유사한지 조사하는 것.
• 자원 제한된 딥 RL 아키텍처에서 예측 목적이 가지는 功能적 이점을 평가하는 것.
• 예측 수평선 길이가 작업 간 표현 전이를 가능하게 하는 데 미치는 영향을 탐색하는 것.
• 표현 변화를 바탕으로 딥 RL 모듈과 뇌 영역(예: 해마, 시각 피질, 스타티아무스) 간 유사성을 도출하는 것.
• 해마가 계획과 무관하게 다른 뇌 영역의 표현 학습을 향상시키는 보조 학습 시스템으로 기능할 수 있다는 가설을 제안하는 것.

제안 방법

• 주된 RL 목표(Q-러닝)와 대비 예측을 사용한 예측 보조 목표를 가진 다중 목표 설정의 딥 RL 에이전트를 훈련시켰다.
• 현재 관측에서 미래 상태를 예측하는 예측 모델을 훈련하기 위해 대비 손실을 사용하였으며, 양성 및 음성 샘플을 포함하였다.
• 상태 표현을 추출하기 위한 인코더 네트워크와 Q-값을 추정하기 위한 가치 네트워크를 훈련시켰으며, 둘 다 보조 목표의 영향을 받았다.
• 예측과 가치 학습이 표현에 미치는 영향을 분리하기 위해 그리드월드 채집 환경에서 통제 실험을 수행했다.
• 기존 실험적 패러다임(예: 자극 교환, 보상 조절된 조절)을 시뮬레이션하여 RL 시스템의 표현 변화를 신경 데이터와 매핑했다.
• 신경 활동 패턴을 사용하여 인코더와 예측 헤드의 표현 이동을 정량화하고, 시각 피질 및 해마의 생체 내 기록과 비교했다.

Figure 1: A deep RL framework to model multi-region computation. A. In the deep RL model we use, reward is provided as a scalar input $r$ . Observations $o$ are 2D visual inputs fed into an encoder (green) that learns low-dimensional state space representations $z$ . The encoder is a convolutional n

실험 결과

연구 질문

• RQ1 예측 보조 목적이 자원 제한 모델에서 딥 RL의 표현 학습에 어떤 영향을 미치는가?
• RQ2 예측 수평선 길이가 표현 전이와 학습 안정성에 어떤 영향을 미치는가?
• RQ3 딥 RL 시스템의 표현 변화가 뇌의 시각 피질과 해마에서 관찰된 변화와 어느 정도 유사한가?
• RQ4 RL 에이전트의 예측 헤드를 뇌의 해마와의 기능적 유사체로 해석할 수 있는가?
• RQ5 한 모듈에서 예측 표현을 학습하는 것이, 예를 들어 인코더와 가치 네트워크와 같은 상호 연결된 다른 모듈에서 유익한 표현 변화를 유도하는가?

주요 결과

• 예측 보조 목적이 자원 제한된 아키텍처에서 특히 심각한 표현 붕괴를 크게 감소시킨다.
• 더 긴 예측 수평선은 더 나은 표현 전이를 이끌어내며, 짧은 수평선 예측보다 성능이 뛰어나다.
• 스위치된 선호 자극과 비선호 자극을 포함한 자극 시퀀스에 노출된 후 인코더 네트워크의 뉴런들이 조정된 타이밍을 보이며, 마우카이 IT 피질의 결과와 유사하다(Li & DiCarlo, 2008).
• 스위치 지점에 가까울수록 비선호 자극에 대한 인코더 유닛의 발화 빈도가 증가하며, 이 효과는 예측 목표가 없을 경우 사라진다.
• 가치 학습은 인코더 표현에 영향을 미친다: 초기 인코더 레이어의 유닛들은 보상된 자극에 대해 선택도가 증가하며, 이는 쥐의 V1에서의 발견과 일치한다(Poort et al., 2015).
• 예측 헤드의 활동은 해마의 동역학과 매우 유사하며, 특히 예측 및 시퀀스 인코딩 성질을 갖는다. 이는 해마가 표현 형성에 대한 보조 학습 시스템으로 기능한다는 가설을 지지한다.

Figure 2: Gridworld performance with predictive auxiliary tasks. A. The model is tested on gridworld task in a 8x8 arena. The agent must navigate to a hidden reward given random initial starting locations. B. Average episode score across training steps for models without auxiliary losses (blue), wit