[논문 리뷰] Distinguishing Learning Rules with Brain Machine Interfaces

Jacob Portes, Christian Schmid외 1명|arXiv (Cornell University)|2022. 06. 27.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 뇌-기계 인터페이스(BMI) 실험을 통해 생물학적으로 타당한 학습 규칙—특히 편향된 신용 할당을 가진 지도학습(SL)과 그러한 편향이 없는 강화학습(RL) 사이를 구분하는 방법을 제안한다. 반복 신경망(RNN)을 사용해 커서 제어 작업을 모델링함으로써, 학습 중 신경 활동 변화에 기반한 통계적 지표를 유도하였으며, 이는 SL이 부정확한 신용 할당으로 인해 가중치 갱신에 체계적인 편향을 유도하는 반면, RL은 진정한 기울기 방향을 따르므로 관측된 신경 역학을 통해 명확한 구분이 가능하다는 것을 보여준다.

ABSTRACT

Despite extensive theoretical work on biologically plausible learning rules, clear evidence about whether and how such rules are implemented in the brain has been difficult to obtain. We consider biologically plausible supervised- and reinforcement-learning rules and ask whether changes in network activity during learning can be used to determine which learning rule is being used. Supervised learning requires a credit-assignment model estimating the mapping from neural activity to behavior, and, in a biological organism, this model will inevitably be an imperfect approximation of the ideal mapping, leading to a bias in the direction of the weight updates relative to the true gradient. Reinforcement learning, on the other hand, requires no credit-assignment model and tends to make weight updates following the true gradient direction. We derive a metric to distinguish between learning rules by observing changes in the network activity during learning, given that the mapping from brain to behavior is known by the experimenter. Because brain-machine interface (BMI) experiments allow for precise knowledge of this mapping, we model a cursor-control BMI task using recurrent neural networks, showing that learning rules can be distinguished in simulated experiments using only observations that a neuroscience experimenter would plausibly have access to.

연구 동기 및 목표

• 생물학적 신경망에서 사용되는 학습 규칙—지도학습 또는 강화학습—를 식별하는 데 도전하는 것.
• 지각된 신용 할당의 불완전성으로 인해 지도학습에서 시냅스 가중치 갱신에 체계적인 편향이 유도되는 방식을 조사하는 것.
• 내부 네트워크 가중치를 요구하지 않고 관측 가능한 신경 활동과 알려진 BMI 디코더만을 사용해 학습 규칙을 구분하는 방법을 개발하는 것.
• 생물학적으로 타당한 학습 규칙으로 훈련된 반복 신경망(RNN)을 사용해 시뮬레이션된 BMI 작업에서 접근 방식을 검증하는 것.
• 실시간 BMI 환경에서 신경 과학자들이 신경 데이터로부터 학습 메커니즘을 추론할 수 있도록 프레임워크를 제공하는 것.

제안 방법

• 신경 활동에서 행동으로의 매핑을 제공하는 알려진 디코더를 사용해 반복 신경망(RNN)으로 커서 제어 BMI 작업을 모델링한다.
• 두 가지 생물학적으로 타당한 학습 규칙을 구현: 편향된 신용 할당 행렬 M을 가진 지도학습(SL), 정책 기울기 갱신을 사용하는 강화학습(RL).
• 각 규칙 하에서 가중치 갱신을 위한 예측 모델을 유도: SL는 M × 오차 × 은닉 활동을 사용하고, RL은 BMI 가중치 × 노이즈 × 오차 × 은닉 활동을 사용한다.
• 모델 적합도 평가를 위해 관측된 신경 활동 변화(ΔF)와 가중치 갱신(ΔW) 간의 상관관계를 계산하는 통계적 지표를 계산한다.
• 주성분 분석(PCA)을 사용해 SL의 경우 집중된 방향성 편향, RL의 경우 분포된 방향성 편향을 가시화한다.
• 노이즈 수준과 디코더 정렬에 따른 상관관계 지표의 유의성 차이를 평가하기 위해 두 표본 t-검정을 적용한다.

실험 결과

연구 질문

• RQ1 학습 중 신경 활동 역학의 차이를 사용해, 편향된 신용 할당을 가진 지도학습과 그러한 편향이 없는 강화학습를 구분할 수 있는가?
• RQ2 지도학습에서 편향된 신용 할당 모델의 존재가 진정한 기울기 방향과 비교해 가중치 갱신 방향에 체계적인 이탈을 유도하는가?
• RQ3 관측된 신경 활동 변화에 기반한 통계적 지표가 시뮬레이션된 BMI 실험에서 기저의 학습 규칙을 신뢰성 있게 탐지할 수 있는가?
• RQ4 BMI 디코더와 신용 할당 행렬 간의 정렬이 학습 규칙의 차이를 탐지 가능성에 영향을 주는가?
• RQ5 디코더 재학습 후에도 신경 활동 만행이 학습 단계 전반에 걸쳐 안정적으로 유지되는가? 이는 규칙 추론에 어떤 영향을 미치는가?

주요 결과

• SL로 훈련된 RNN에서, 각 시도당 관측된 가중치 갱신은 신용 할당 행렬 M에 기반한 예측과 높은 상관관계를 보였다(r ≈ 0.6), 이는 체계적인 편향이 있음을 시사한다.
• RL로 훈련된 RNN에서, 개별 가중치 갱신은 주성분에 걸쳐 균일하게 분포되어 있었으며, 이는 주로 방향성 갱신이 없음을 의미한다.
• RL에서 시도 평균 관측 가중치 갱신은 예측된 RL 갱신 방향과 유의미하게 상관관계가 있었음(p < 0.01), 편향 없는 기울기 따르기의 확인을 의미한다.
• SL과 RL을 구분하는 통계적 지표는 다양한 노이즈 수준에서 유의미했으며, 특히 디코더 정렬이 낮을 때(유사도 < 0.6) 두드러졌다.
• 디코더 재학습 후에도 초기 학습 단계와 후기 학습 단계의 신경 활동 만행 간 상당한 겹침이 관찰되어, 시간에 따라 안정적인 학습 규칙 추론이 가능함을 지지한다.
• SL 하에서 관측된 신경 활동 변화(ΔF)와 예측된 변화 간 상관계수가 RL에 비해 유의미하게 높았으며, 이는 방법이 규칙 특이적 편향을 탐지할 수 있음을 확인한다.