[논문 리뷰] Online Spatio-Temporal Learning in Deep Neural Networks

Thomas Bohnstingl, Stanisław Woźniak외 3명|arXiv (Cornell University)|2020. 07. 24.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 깊이 있는 스파iking 신경망(SNNs)을 위한 새로운 온라인 학습 알고리즘인 온라인 시공간 학습(OSTL)을 제안한다. OSTL는 공간적 및 시간적 기울기 성분을 분리하여, 얕은 SNN에 대해 BPTT와 동일한 기울기를 달성하고, 깊이 있는 SNN 및 RNN(특히 LSTMs와 GRUs)에 대해 저복잡도 온라인 학습을 가능하게 하며, 언어 모델링 및 음성 인식 작업에서 BPTT 기준선과 경쟁 가능한 성능을 보인다.

ABSTRACT

Biological neural networks are equipped with an inherent capability to continuously adapt through online learning. This aspect remains in stark contrast to learning with error backpropagation through time (BPTT) applied to recurrent neural networks (RNNs), or recently to biologically-inspired spiking neural networks (SNNs). BPTT involves offline computation of the gradients due to the requirement to unroll the network through time. Online learning has recently regained the attention of the research community, focusing either on approaches that approximate BPTT or on biologically-plausible schemes applied to SNNs. Here we present an alternative perspective that is based on a clear separation of spatial and temporal gradient components. Combined with insights from biology, we derive from first principles a novel online learning algorithm for deep SNNs, called online spatio-temporal learning (OSTL). For shallow networks, OSTL is gradient-equivalent to BPTT enabling for the first time online training of SNNs with BPTT-equivalent gradients. In addition, the proposed formulation unveils a class of SNN architectures trainable online at low time complexity. Moreover, we extend OSTL to a generic form, applicable to a wide range of network architectures, including networks comprising long short-term memory (LSTM) and gated recurrent units (GRU). We demonstrate the operation of our algorithm on various tasks from language modelling to speech recognition and obtain results on par with the BPTT baselines. The proposed algorithm provides a framework for developing succinct and efficient online training approaches for SNNs and in general deep RNNs.

연구 동기 및 목표

• 온라인 학습 환경에서 백프로파게이션 스루 타임(BPTT)의 한계, 특히 시스템 잠금 및 높은 메모리 요구량을 해결하기 위해.
• BPTT와 동등한 기울기를 유지하면서 생물학적으로 타당한 온라인 학습 알고리즘을 깊이 있는 스파iking 신경망(SNNs)에 개발하기 위해.
• 피드포워드 및 순환 SNN, 특히 LSTM 및 GRU 아키텍처에 대해 효율적이고 저복잡도의 온라인 학습을 가능하게 하기 위해.
• 생물학적 신경계 계산에 영감을 받아 공간적 및 시간적 기울기 성분을 분리함으로써 SNN 및 RNN의 온라인 학습을 통합하기 위해.

제안 방법

• 알고리즘은 재귀적 SNN에서 공간적 및 시간적 기울기 성분을 명확히 분리하는 데 첫 원칙에서 유도된다.
• 학습 신호와 유사도 트레이스를 포함하는 합성 시냅스 가중치 갱신 규칙을 제안하며, 이는 삼요인 학습 규칙과 유사하다.
• 얕은 네트워크의 경우, OSTL는 BPTT 및 RTRL과 동일한 정확한 기울기 등가성을 유지하며, 지연된 업데이트 방식을 사용한다.
• 시간 복잡도 O(kn²)로, k는 레이어 수, n은 뉴런 수인 깊이 있는 피드포워드 SNN로의 확장이 가능하다.
• 유사도 트레이스 프레임워크에 내부 게이팅 메커니즘을 통합하여, LSTM 및 GRU 유닛을 포함한 재귀 네트워크로 OSTL를 일반화한다.
• 완전한 언롤링을 피하기 위해 잘라낸 유사도 트레이스를 사용함으로써, 과거 상태를 저장하지 않고도 실시간 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간에 따라 완전한 언롤링 없이도 SNN에서 온라인 학습이 BPTT-등가 기울기를 달성할 수 있는가?
• RQ2 깊이 있는 SNN에서 효율적인 온라인 학습을 가능하게 하기 위해 기울기의 공간적 및 시간적 성분을 어떻게 분리할 수 있는가?
• RQ3 OSTL는 복잡한 RNN 유닛인 LSTMs 및 GRUs로 확장 가능할 수 있으며, 성능과 낮은 시간 복잡도를 유지할 수 있는가?
• RQ4 유사도 트레이스에서 재귀 행렬 H를 무시할 경우 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ5 긴 시간 의존성 태스크에서 OSTL는 잘라낸 BPTT 및 기타 온라인 근사 방법과 비교해 어떻게 성능을 보이는가?

주요 결과

• OSTL는 얕은 SNN에 대해 BPTT-등가 기울기를 달성하여, 오프라인 계산 없이 정확한 온라인 학습을 가능하게 한다.
• 깊이 있는 피드포워드 SNN의 경우, 언어 모델링 및 음성 인식 작업에서 BPTT 기준선과 경쟁 가능한 성능을 보인다.
• TIMIT 음성 인식 작업에서, OSTL는 짧은 수평선을 가진 잘라낸 BPTT를 능가하며, 언롤링 없이도 경쟁 가능한 오류율을 유지한다.
• 유사도 트레이스에서 H 행렬을 무시할 경우 시간 복잡도가 O(n²)로 감소하고 성능 저하가 4%에 그치지만, 무작위 e-prop은 15%의 성능 저하를 겪는다.
• OSTL는 LSTMs 및 GRUs를 포함한 깊이 있는 RNN의 저복잡도 온라인 학습을 가능하게 하며, 정확도 손실가 최소한이다.
• 알고리즘은 실시간 적응을 지원하여, 저전력 엣지 장치 및 개인정보 감시가 중요한 응용 분야에 적합하다.