[논문 리뷰] Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits

Tsung-Han Lin|arXiv (Cornell University)|2017. 05. 19.

Advanced Memory and Neural Computing참고 문헌 17인용 수 3

한 줄 요약

이 논문은 피드백 시냅스를 갖춘 스파iking 신경망(SNN)을 제안하여, 비국소적 오차 신호를 국소적 피드백 변동으로 변환함으로써 시냅스적으로 국소적이고 생물학적으로 타당한 사전 학습을 가능하게 한다. 이 방법은 스파이크 레이트 동역학과 피드백 유도 상태 변화를 활용하여 경사 하강법을 근사함으로써, 무작위 가중치 초기화 조건에서도 이미지 데이터셋에서 확률적 경사 하강법(SGD)과 비교해 유사하거나 우수한 성능을 달성한다.

ABSTRACT

While the sparse coding principle can successfully model information processing in sensory neural systems, it remains unclear how learning can be accomplished under neural architectural constraints. Feasible learning rules must rely solely on synaptically local information in order to be implemented on spatially distributed neurons. We describe a neural network with spiking neurons that can address the aforementioned fundamental challenge and solve the L1-minimizing dictionary learning problem, representing the first model able to do so. Our major innovation is to introduce feedback synapses to create a pathway to turn the seemingly non-local information into local ones. The resulting network encodes the error signal needed for learning as the change of network steady states caused by feedback, and operates akin to the classical stochastic gradient descent method.

연구 동기 및 목표

• 스트레스한 시냅스 국소성 제약 조건 하에서 신경 회로에서 사전 학습이 어떻게 구현될 수 있을지에 대한 근본적 과제를 해결하기 위해.
• 각 시냅스에서만 가용한 국소 정보에 의존하는 학습 규칙을 개발하여 공간적으로 분산된 신경망에 적용 가능하게 하기 위해.
• 스파iking 신경망을 사용하여 ℓ₁-최소화 사전 학습 문제를 국소적 동역학과 피드백 변동만을 이용해 해결하기 위해.
• 피드백에 의한 네트워크 안정 상태 변화가 전역 오차 신호의 국소적 대체 측정치로 기능할 수 있음을 보여주기 위해.
• 제안된 방법이 완전히 분산되고 병렬 처리 가능한 동시에 표준 SGD와 경쟁 가능한 성능을 보이는지 확인하기 위해.

제안 방법

• 피드백 시냅스를 도입하여 네트워크의 안정 상태를 변동시키며, 상태 변화가 전역 오차 신호의 국소적 근사로 기능하도록 한다.
• 네트워크 동역학을 기술하고 학습 규칙을 유도하기 위해 불균형 함수 Δi(t) = ui(t) − θi ai(t) 를 사용하며, 스파이크 레이트와 전류 평균에 기반한다.
• 피드백에 의한 상태 이동을 경사 하강 업데이트와 연결하여 국소적 학습 규칙을 유도하며, 이는 확률적 경사 하강법과 유사한 형태를 띤다.
• 피드백 변동이 진정한 오차 기울기 반영을 보장하기 위해 피드포워드 및 피드백 가중치 간의 가중치 일관성 조건을 적용한다.
• 적분-화이어 뉴런을 갖춘 스파이킹 네트워크에 학습 규칙을 적용하며, 시냅스 가중치는 국소적 전조직 및 후조직 활동과 피드백에 의한 변화에 기반해 업데이트된다.
• 신경망의 비활성화를 방지하고 학습 효율성과 수렴성을 향상시키기 위해 동적 임계값 적응을 사용한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망에서 시냅스적으로 국소적으로만 이용 가능한 정보로 사전 학습을 달성할 수 있는가?
• RQ2 사전 학습에서 비국소적 오차 신호는 어떻게 국소적이고 시냅스적으로 접근 가능한 신호로 변환될 수 있는가?
• RQ3 스파이킹 네트워크의 피드백 연결이 ℓ₁-정규화 목적 함수의 기울기를 근사할 수 있는가?
• RQ4 제안된 방법이 목적 함수 값과 수렴 속도 측면에서 표준 SGD를 능가하거나 동등하게 성능을 내는가?
• RQ5 이 방법은 무작위 가중치 초기화와 다양한 훈련 샘플 크기에 대해 얼마나 강건한가?

주요 결과

• 제안된 SNN는 피드백 변동을 통해 MNIST, 자연 풍경, Lena를 포함한 여러 데이터셋에서 SGD와 유사하거나 더 낮은 목적 함수 값을 달성한다.
• 특히 훈련 데이터가 제한된 경우 SNN 방법이 SGD보다 더 빠르게 수렴하고 더 우수한 해에 도달하며, 열악한 국소 최소값을 피하는 데 유리하다.
• 무작위 가중치 초기화는 수렴 속도를 약간 느리게 하지만, 최종 목적 함수 값은 유사하거나 더 우수한 수준을 유지한다.
• 동적 임계값 적응은 뉴런의 비활성화를 방지하며, 드물게 활성화되는 원자들이 시간이 지남에 따라 더 자주 발화하도록 만들어 학습 효율성을 향상시킨다.
• 피드백에 의한 상태 변화는 전역 오차 기울기의 효과적인 국소 대체 측정치를 제공하며, 생물학적으로 타당한 학습을 가능하게 한다.
• 이 방법은 완전히 분산되고 세밀한 병렬 계산을 가능하게 하여 중심 집합 처리 장치의 병목 현상을 제거한다.