[논문 리뷰] A Biologically Plausible Learning Rule for Deep Learning in the Brain

Isabella Pozzi, Sander M. Bohté외 1명|arXiv (Cornell University)|2018. 11. 05.

Advanced Memory and Neural Computing참고 문헌 35인용 수 17

한 줄 요약

이 논문은 전역 보상 예측 오차와 국소적 주의 피드백을 사용하여 시행착오 방식으로 이미지 분류 작업을 학습할 수 있는 생물학적으로 타당한 강화학습 규칙 Q-AGREL을 제안한다. 이는 백프로파게이션과 유사한 성능을 달성하며, CIFAR100(100개 클래스)에서도 1.5–2.5배 더 많은 학습 에포크가 필요할 뿐이다.

ABSTRACT

Researchers have proposed that deep learning, which is providing important progress in a wide range of high complexity tasks, might inspire new insights into learning in the brain. However, the methods used for deep learning by artificial neural networks are biologically unrealistic and would need to be replaced by biologically realistic counterparts. Previous biologically plausible reinforcement learning rules, like AGREL and AuGMEnT, showed promising results but focused on shallow networks with three layers. Will these learning rules also generalize to networks with more layers and can they handle tasks of higher complexity? We demonstrate the learning scheme on classical and hard image-classification benchmarks, namely MNIST, CIFAR10 and CIFAR100, cast as direct reward tasks, both for fully connected, convolutional and locally connected architectures. We show that our learning rule - Q-AGREL - performs comparably to supervised learning via error-backpropagation, with this type of trial-and-error reinforcement learning requiring only 1.5-2.5 times more epochs, even when classifying 100 different classes as in CIFAR100. Our results provide new insights into how deep learning may be implemented in the brain.

연구 동기 및 목표

• 뇌에서 강화학습 원리를 사용하여 깊이 있는 학습을 가능하게 하는 생물학적으로 타당한 학습 규칙을 개발하는 것.
• 깊은 네트워크의 시냅스가 전역적 백프로파게이션에 의존하지 않고 국소적으로 오차 도함수를 계산할 수 있는 방법에 도전하는 것.
• 기존의 저질서 강화학습 규칙(예: AGREL 및 AuGMEnT)을 임의의 깊이를 가진 다층 신경망으로 일반화하는 것.
• 이러한 규칙이 표준 이미지 분류 벤치마크에서 감독적 오차 백프로파게이션과 유사한 성능을 달성할 수 있는지 평가하는 것.
• 높은 클래스 수를 가진 복잡한 작업, 예를 들어 CIFAR100과 같은 경우에 학습 규칙의 확장성을 입증하는 것.

제안 방법

• Q-AGREL은 뇌의 신경조절 신호에 유사한 전역 보상 예측 오차(RPE) 신호와 운동 또는 의사결정 영역에서 온 국소적 주의 피드백 신호를 결합한다.
• 주의 피드백은 선택된 행동에 관여하는 시냅스를 선택적으로 태그하여, 오직 그들만이 가소성 변화를 겪도록 한다.
• 학습 규칙은 선택된 출력 유닛과 관련된 가중치만 갱신하는 방식의 오차 백프로파게이션과 수학적으로 동일하다.
• 규칙은 직접 보상 설정에서 작동하며, 각 네트워크 추론 후 즉시 피드백이 제공되므로 지연된 책임 할당이 필요하지 않다.
• 네트워크는 데이터 증강 또는 고급 최적화 기법 없이 Q-AGREL 규칙을 사용하여 확률적 경사 하강법으로 학습된다.
• 이 방법은 완전히 연결된, 합성곱형, 국소적으로 연결된 아키텍처를 포함한 MNIST, CIFAR10, CIFAR100에서 평가된다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 강화학습 규칙을 임의의 깊이를 가진 깊은 순전파 네트워크로 확장할 수 있는가?
• RQ2 Q-AGREL의 성능는 이미지 분류 작업에서 정확도와 수렴 속도 측면에서 표준 오차 백프로파게이션과 비교해 어떻게 되는가?
• RQ3 Q-AGREL 규칙은 CIFAR100과 같이 100개의 클래스를 가진 고복잡도 작업에 대해 금전적 비용이 과도하게 증가하지 않고도 확장 가능한가?
• RQ4 전역 RPE와 국소적 주의 피드백의 조합이 깊은 네트워크에서 백프로파게이션 유사 학습을 효과적으로 가능하게 하는가?
• RQ5 규칙이 뇌의 생물학적 타당성과 일치하는 저질서 학습 역학을 유지하는가?

주요 결과

• Q-AGREL은 완전히 연결된 네트워크와 합성곱 네트워크에서 모두 MNIST에서 테스트 정확도 99.17%를 달성하여 표준 오차 백프로파게이션과 동일한 성능를 보였다.
• CIFAR10에서는 Q-AGREL이 백프로파게이션과 유사하거나 略히 높은 정확도를 달성했으며, 수렴에 1.5~2배 더 많은 에포크가 필요했다.
• CIFAR100에서는 Q-AGREL이 백프로파게이션보다 略적으로 낮은 최종 정확도를 보였지만, 학습에 필요한 에포크 수는 오직 2~2.5배 더 많을 뿐이었으며, 고클래스 작업에 대한 확장성을 입증했다.
• Q-AGREL을 사용한 학습 과정은 에포크가 진행됨에 따라 보상 확률이 안정적으로 증가했으며, 이는 백프로파게이션에서 관찰되는 오차 감소와 유사했지만, 더 느린 속도로 진행되었다.
• 규칙이 선택적 백프로파게이션 방식과 수학적으로 동일하다는 점(선택된 행동과 관련된 가중치만 갱신)은 분석적·실험적으로 검증되었다.
• 데이터 증강 또는 고급 최적화 기법 없이도 규칙이 효과를 유지하므로, 핵심 메커니즘이 강건하고 생물학적으로 타당하다는 것을 시사한다.