[논문 리뷰] Non-linear motor control by local learning in spiking neural networks

Aditya Gilra, Wulfram Gerstner|arXiv (Cornell University)|2017. 12. 29.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 비선형 운동 동역학의 역모델을 학습하기 위해 스파iking 신경망을 훈련시키는 생물학적으로 타당한 국소 학습 규칙 FOLLOW를 제안한다. 미분 피드포워드 아키텍처를 사용하여 네트워크는 연속 시간 운동 명령을 팔 상태 궤적에서 추론하고, 비선형 동역학 조건에서도 최소한의 오차로 정확한 피드백 루프 제어를 가능하게 한다.

ABSTRACT

Learning weights in a spiking neural network with hidden neurons, using local, stable and online rules, to control non-linear body dynamics is an open problem. Here, we employ a supervised scheme, Feedback-based Online Local Learning Of Weights (FOLLOW), to train a network of heterogeneous spiking neurons with hidden layers, to control a two-link arm so as to reproduce a desired state trajectory. The network first learns an inverse model of the non-linear dynamics, i.e. from state trajectory as input to the network, it learns to infer the continuous-time command that produced the trajectory. Connection weights are adjusted via a local plasticity rule that involves pre-synaptic firing and post-synaptic feedback of the error in the inferred command. We choose a network architecture, termed differential feedforward, that gives the lowest test error from different feedforward and recurrent architectures. The learned inverse model is then used to generate a continuous-time motor command to control the arm, given a desired trajectory.

연구 동기 및 목표

• 스파iking 신경망의 은닉층을 갖는 네트워크를 비선형 운동 동역학의 역모델을 학습시키기 위해 국소적이고 안정적이며 온라인 학습 규칙으로 훈련시키는 데 도전하는 것.
• 피드백 기반 국소 학습 규칙인 FOLLOW가 스파이크 기반 네트워크에서 연속 시간 운동 제어를 위한 효과적인 역모델 학습을 가능하게 하는지 보여주는 것.
• FOLLOW 하에 작동하는 다양한 네트워크 아키텍처(피드포워드 및 순환)의 역모델 학습 성능을 평가하고 비교하여 최적의 구성 요건을 규명하는 것.
• 학습된 역모델을 활용하여 이중 링크 팔의 피드백 루프 제어를 실현하고, 궤적 추적의 정확성과 강건성을 입증하는 것.
• 이 접근법의 생물학적 타당성과 뉴로로봇 공학 및 뉴모르픽 컴퓨팅 환경에서의 하드웨어 구현 가능성 확보

제안 방법

• 스파이크 기반 네트워크의 가소성 가중치를 학습하기 위해 FOLLOW(피드백 기반 온라인 가중치 학습) 규칙을 적용하며, 전시냅스 자극과 후시냅스 오차 피드백을 사용한다.
• 시간 처리 능력과 학습 성능 향상을 위해 두 개의 병렬 입력 스트림(지연 없음 및 지연 있음)을 갖는 미분 피드포워드 네트워크 아키텍처를 사용한다.
• 이중 링크 팔의 관측된 상태 궤적에서 연속 시간 운동 명령을 추론하도록 네트워크를 훈련시키며, 입력 및 출력 계층에 대해 고정된 무작위 인코딩 가중치를 사용한다.
• 지연이 있는 오차(추론된 명령과 실제 명령 간의 차이)를 피드백하여 국소적으로 가중치를 업데이트함으로써 안정성과 수렴성을 확보한다.
• 비례 피드백 제어(이득 $k' = 3$)를 사용하여 피드백 루프 제어를 실현하며, 학습된 역모델과 선형 피드백을 조합하여 추적 성능을 향상시킨다.
• 비선형 함수 근사가 가능하도록 이질적인 편향을 가진 리크-인티그레이트-앤드-파이어(LIF) 뉴런을 사용하여皮질 유사 동역학을 모델링한다.

실험 결과

연구 질문

• RQ1 FOLLOW와 같은 국소적이고 온라인이며 안정적인 학습 규칙이 비선형 운동 시스템의 역역학을 학습하는 스파이크 기반 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 FOLLOW 하에서 작동할 때, 피드포워드, 순환, 또는 미분 피드포워드 중 어떤 네트워크 아키텍처가 가장 낮은 테스트 오차를 기록하는가?
• RQ3 학습된 역모델이 이중 링크 팔의 정확한 피드백 루프 제어를 가능하게 하여 원하는 궤적을 추적할 수 있는가?
• RQ4 FOLLOW 기반 제어기의 성능은 역모델 없이 표준 피드백 제어와 비교해 어떻게 다를까?
• RQ5 FOLLOW 학습 체계는 어느 정도 생물학적으로 타당하며, 뉴모르픽 하드웨어에 구현하기에 적합한가?

주요 결과

• FOLLOW 학습 규칙 하에서 평가된 모든 피드포워드 및 순환 아키텍처 중에서 미분 피드포워드 아키텍처가 가장 낮은 테스트 오차를 기록했다.
• 네트워크는 상태 궤적에서 연속 시간 운동 명령을 성공적으로 추론하여 이중 링크 팔의 정확한 제어를 가능하게 하였다.
• 비례 피드백 제어(이득 $k' = 3$)를 사용한 피드백 루프 제어에서는 원하는 궤적을 매우 정밀하게 추적하였으며, 오픈 루프 성능 대비 오차가 크게 감소하였다.
• 역모델은 초기 오차를 줄여주어 선형 피드백이 편차를 효과적으로 보정할 수 있도록 하였으며, 학습된 역제어와 피드백 간의 상호보완적 상호작용을 입증하였다.
• FOLLOW 규칙은 안정적이고 온라인이며 시냅스 수준에서 국소적인 가중치 업데이트를 가능하게 하여 생물학적 타당성과 뉴모르픽 하드웨어 구현에 적합한 접근을 제공하였다.
• 역모델이 없이 표준 선형 피드백 제어를 사용할 경우, 비선형 동역학으로 인해 원하는 궤적을 추적하지 못하였으며, 이는 학습된 모델의 필요성을 강력히 입증하였다.