[논문 리뷰] Tightening the Biological Constraints on Gradient-Based Predictive Coding

Nicholas Alonso, Emre Neftci|arXiv (Cornell University)|2021. 04. 30.

Neural dynamics and brain function참고 문헌 34인용 수 4

한 줄 요약

이 논문은 ReLU 활성화를 통해 양의 화성율을 강제하고, 가중치 전치를 학습 가능한 피드백 행렬로 대체하며, 음수 신경 활동을 피하는 새로운 오차 인코딩 방식(나눗셈 기반 및 뺄셈 기반)을 도입하여 기존의 기울기 기반 예측 코딩(PC)의 생물학적 타당성을 강화한다. 수정된 PC 모델은 원래의 PC 모델 및 백프로파게이션과 유사한 MNIST 분류 성능을 달성하여 생물학적으로 제약이 있는 신경모방 학습에의 가능성을 입증한다.

ABSTRACT

Predictive coding (PC) is a general theory of cortical function. The local, gradient-based learning rules found in one kind of PC model have recently been shown to closely approximate backpropagation. This finding suggests that this gradient-based PC model may be useful for understanding how the brain solves the credit assignment problem. The model may also be useful for developing local learning algorithms that are compatible with neuromorphic hardware. In this paper, we modify this PC model so that it better fits biological constraints, including the constraints that neurons can only have positive firing rates and the constraint that synapses only flow in one direction. We also compute the gradient-based weight and activity updates given the modified activity values. We show that, under certain conditions, these modified PC networks perform as well or nearly as well on MNIST data as the unmodified PC model and networks trained with backpropagation.

연구 동기 및 목표

• 핵심 신경생리학적 제약을 해결하여 기울기 기반 예측 코딩의 더 생물학적으로 타당한 버전을 개발한다.
• 기본 PC에서 생물학적으로 불가능한 가중치 전치를 학습 가능한 피드백 가중치 행렬로 대체한다.
• 기울기 흐름을 유지하면서도 ReLU 활성화를 통해 신경 활동 값이 양수임을 보장한다.
• 예측 오차를 오직 양수 화성율로 표현하는 새로운 오차 인코딩 방식을 개발하고 평가한다.
• 수정된 모델이 MNIST와 같은 지도 학습 과제에서 높은 성능을 유지할 수 있음을 입증한다.

제안 방법

• 오차 전파에서 가중치 전치를 별도로 학습 가능한 피드백 가중치 행렬로 대체하며, [12]의 규칙에 따라 학습하거나 무작위로 초기화한다.
• 비음수 신경 활동 값을 강제하기 위해 ReLU 활성화를 적용하여 생물학적으로 불가능한 음수 화성율을 방지한다.
• ReLU의 비미분 가능성에도 불구하고 정보를 유지하는 기울기 계산 방법을 개발하여 ReLU 레이어를 통해 백프로파게이션을 가능하게 한다.
• 두 가지 새로운 오차 인코딩 방식을 도입한다: 나눗셈 기반 및 뺄셈 기반 임계값 인코딩으로, 모두 오차 뉴런의 화성율이 오직 양수임을 보장한다.
• 이러한 새로운 인코딩 방식의 기울기를 계산하고, 가중치 및 활동 갱신을 위한 학습 규칙에 통합한다.
• 다양한 설정에서 MNIST 데이터셋에 대해 수정된 PC 모델을 테스트하여 성능와 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 ReLU 활성화를 통해 비음수 신경 활동 값을 강제함으로써 기울기 기반 예측 코딩을 더 생물학적으로 타당하게 만들 수 있는가?
• RQ2 오차 전파에서 가중치 전치를 학습 가능한 피드백 가중치 행렬로 대체하면 학습 성능를 유지하면서 생물학적 타당성을 향상시킬 수 있는가?
• RQ3 나눗셈 또는 뺄셈 기반 임계값 처리와 같은 새로운 인코딩 방식을 통해 예측 오차를 오직 양수 화성율로 표현할 수 있는가?
• RQ4 다양한 오차 인코딩 방식(나눗셈 대비 뺄셈)은 수정된 PC 모델의 학습 성능와 기울기 흐름에 어떤 영향을 미치는가?
• RQ5 최종적으로 생물학적으로 제약이 있는 PC 모델은 표준 백프로파게이션과 원래의 PC 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• ReLU 활성화를 적용한 뉴런과 학습 가능한 피드백 가중치를 갖는 수정된 PC 모델은 원래의 PC 모델 및 표준 백프로파게이션과 유사한 MNIST 테스트 정확도를 달성한다.
• 뺄셈 기반 임계값 오차 인코딩 방식은 음수 오차를 오직 양수 화성율로 표현하여 생물학적으로 타당한 오차 신호 전달을 가능하게 했다.
• 이전에 신경생리학적 데이터에 더 잘 맞는 것으로 나타난 나눗셈 기반 오차 인코딩 방식이 적절한 기울기 계산과 함께 모델에 성공적으로 통합되었다.
• ReLU 활성화 레이어의 기울기 계산은 수정된 백프로파게이션 방법을 통해 비미분 가능성에도 불구하고 효과적인 학습을 유지할 수 있도록 보존되었다.
• 학습된 피드백 가중치를 갖는 모델은 무작위 피드백 버전보다 성능이 뛰어나, 피드백 가중치 학습이 성능 향상에 기여함을 시사한다.
• 종합적으로 수정된 PC 모델은 원래의 PC 모델 및 백프로파게이션과 비슷하거나 동등한 성능을 보이며, 뉴런 모방 및 생물학적으로 영감을 받은 학습에의 잠재력을 입증한다.