[논문 리뷰] Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets

Guillaume Bellec, Franz Scherr외 4명|arXiv (Cornell University)|2019. 01. 25.

Advanced Memory and Neural Computing참고 문헌 52인용 수 77

한 줄 요약

이 논문은 재발생 신경망을 위한 BPTT( Through Time) 대신 온라인으로 뇌생물학적으로 타당한 대안인 e-prop을 소개합니다. Eligibility traces와 로컬 학습 신호를 사용하고 세 가지 변형(e-prop 1–3)과 스파이킹 및 LSTM 네트워크에의 응용을 제시합니다.

ABSTRACT

The way how recurrently connected networks of spiking neurons in the brain acquire powerful information processing capabilities through learning has remained a mystery. This lack of understanding is linked to a lack of learning algorithms for recurrent networks of spiking neurons (RSNNs) that are both functionally powerful and can be implemented by known biological mechanisms. Since RSNNs are simultaneously a primary target for implementations of brain-inspired circuits in neuromorphic hardware, this lack of algorithmic insight also hinders technological progress in that area. The gold standard for learning in recurrent neural networks in machine learning is back-propagation through time (BPTT), which implements stochastic gradient descent with regard to a given loss function. But BPTT is unrealistic from a biological perspective, since it requires a transmission of error signals backwards in time and in space, i.e., from post- to presynaptic neurons. We show that an online merging of locally available information during a computation with suitable top-down learning signals in real-time provides highly capable approximations to BPTT. For tasks where information on errors arises only late during a network computation, we enrich locally available information through feedforward eligibility traces of synapses that can easily be computed in an online manner. The resulting new generation of learning algorithms for recurrent neural networks provides a new understanding of network learning in the brain that can be tested experimentally. In addition, these algorithms provide efficient methods for on-chip training of RSNNs in neuromorphic hardware.

연구 동기 및 목표

• 스파이킹 뉴런의 재발생 네트워크에 대해 강력하면서도 생물학적으로 타당한 학습 알고리즘의 필요성을 동기화합니다.
• BPTT 그래디언트를 eligibility traces와 온라인 학습 신호로 분해하는 방법을 제안합니다( e-prop ).
• 역전 시간 오류 전파를 사용하지 않고 그래디언트 강하를 근사하기 위해 3가지 변형(e-prop 1, 2, 3)을 개발하고 분석합니다.
• RSNN에서 온라인의 태스크 기반 학습 능력을 시연하고 이를 BPTT 및 다른 학습 규칙과 비교합니다.
• RSNN에서의 학습에 대한 신경과학 및 뉴로모픽 하드웨어 구현에 대한 시사점을 논의합니다.

제안 방법

• BPTT 그래디언트를 분해하여 dE/dθ_{ji} = sum_t L_j^t e_{ji}^t (Equation 1)로 정의합니다.
• 로컬 다이나믹스 D_j^{t-1}와 bepsilon_{ji}^t를 사용하는 순방향 시간 업데이트(Equation 2와 3)로 eligibility traces e_{ji}^t를 정의합니다.
• ideal 그래디언트의 근사로서의 온라인 학습 신호 L_j^t를 도입합니다(L_j^t ≈ dE/dz_j^t, 온라인 변형 포함).
• e-prop 1 개발: 즉시 출력 오차를 이용한 방송 정렬(broadcast alignment)에서의 학습 신호; 로컬 항을 갖는 세 요소 학습 규칙(Equation 5)을 제공합니다.
• e-prop 2 개발: 오류 모듈을 사용하여 특정 태스크의 학습 신호를 생성하는 Learning-to-Learn(L2L)로 RSNN이 가중치를 적응하도록 허용합니다; 외부 루프가 오류 모듈을 학습합니다.
• e-prop 3 개발: 합성 그래디언트와 eligibility traces를 통합하여 일부 BPTT 기준선들보다 성능을 향상시키고, 반복 네트워크에서의 향상을 보여줍니다.

실험 결과

연구 질문

• RQ1 온라인으로 로컬하게 계산 가능한 학습 신호와 eligibility traces가 RSNN에 대해 Backpropagation through Time의 성능을 근사할 수 있는가?
• RQ2 생물학적으로 타당한 근사(e-prop 변형)가 BPTT에 비해 시간적 크레딧 할당이 필요한 태스크에서 효과적인 학습을 가능하게 하는가(예: 패턴 생성, 저장-회상, 음성 태스크)?
• RQ3 오류 조절 메커니즘(방송 정렬, 오류 모듈, 합성 그래디언트)이 학습 능력과 생물학적 타당성에 어떤 영향을 주는가?
• RQ4 이 방법들을 다른 네트워크 모델(LIF, LSNN, LSTM)에도 온라인으로 계산 가능하게 확장할 수 있는가?
• RQ5 e-prop 방법들이 뉴로모픽 하드웨어의 온칩 학습에 어떤 시사점을 가지는가?

주요 결과

• e-prop은 적응 신호와 로깅 가능한 학습 신호를 온라인으로 합체하여 BPTT를 근접하게 근사하고, 역전파된 오류 없이 실시간 학습을 가능하게 합니다.
• e-prop 1은 broadcast-alignment와 유사한 학습 신호를 사용하여 RSNN과 LSNN에서 패턴 생성 및 저장-회상 태스크의 효과적인 크레딧 할당을 달성하고 음성 인식(TIMIT 데이터와 함께 작동)도 지원합니다.
• e-prop 1은 패턴 생성(삼차원 타깃, 1초)에서 평균 제곱 오차가 약 0.01인 대표 실행에서 경쟁력 있는 성능을 달성합니다. 전체 BPTT는 더 낮은 오차를 달성할 수 있지만 e-prop 1도 여전히 효과적입니다.
• LSNN에서의 저장-회상 태스크를 e-prop 1으로 해결하여 오분류율이 5% 미만으로 달성됩니다(50회 반복의 평균). BPTT는 더 적은 반복에서 유사하거나 약간 더 빠른 수렴에 도달합니다.
• e-prop 2를 통한 L2L과 e-prop 3의 합성 그래디언트가 학습 능력을 확장합니다; 이 접근들은 원샷 학습을 가능하게 하고 RSNN의 학습을 특정 기준선 이상으로 개선할 수 있습니다.
• 프레임워크는 생물학적으로 관찰된 학습 신호(ERN, 도파민성 조절 등)와 일치하는 세 가지 요소 가소성 규칙에 연결되며, 뉴로모픽 하드웨어의 온칩 학습도 가능하게 합니다.