[논문 리뷰] An Online Learning Algorithm for Neuromorphic Hardware Implementation

Chetan Singh Thakur, Runchun Wang외 5명|arXiv (Cornell University)|2015. 05. 11.

Advanced Memory and Neural Computing참고 문헌 26인용 수 10

한 줄 요약

이 논문은 신호 기반 온라인 학습(SOL) 알고리즘을 제안하며, 이는 신호 기반 가중치 갱신을 은닉층 활성화와 출력 오차 기반으로 사용하는 훈련 가능한 유사 블록(TAB) 뉴로모픽 하드웨어 아키텍처를 위한 것이다. 이 방법은 계산 오버헤드를 최소화하면서도 스파iking 신경망에서 회귀 작업을 위한 효율적이고 하드웨어로 실행 가능한 온라인 학습을 가능하게 한다.

ABSTRACT

We propose a sign-based online learning (SOL) algorithm for a neuromorphic hardware framework called Trainable Analogue Block (TAB). The TAB framework utilises the principles of neural population coding, implying that it encodes the input stimulus using a large pool of nonlinear neurons. The SOL algorithm is a simple weight update rule that employs the sign of the hidden layer activation and the sign of the output error, which is the difference between the target output and the predicted output. The SOL algorithm is easily implementable in hardware, and can be used in any artificial neural network framework that learns weights by minimising a convex cost function. We show that the TAB framework can be trained for various regression tasks using the SOL algorithm.

연구 동기 및 목표

• 실시간으로 작동하는 뉴로모픽 시스템과 호환되는 하드웨어 효율적인 학습 알고리즘을 개발하기 위해.
• 최소한의 계산 자원을 사용하여 TAB 프레임워크에서 온라인 학습을 가능하게 하기 위해.
• 은닉 활성화와 출력 오차의 부호만을 활용하여 복잡성을 감소시키는 가중치 갱신 규칙을 설계하기 위해.
• 제안된 알고리즘을 사용하여 다양한 회귀 작업을 위한 TAB 프레임워크 훈련의 가능성을 입증하기 위해.
• 모든 신경망 프레임워크와 호환되며 볼록 비용 함수를 최소화하는 학습 규칙을 보장하기 위해.

제안 방법

• SOL 알고리즘은 은닉층 뉴런 활성화의 부호를 기울기 정보의 대체로 사용한다.
• 출력 오차의 부호를 기반으로 가중치 갱신을 계산하며, 이는 목표 출력과 예측 출력의 차이로 정의된다.
• 가중치 갱신 규칙은 Δw ∝ sign(activation) × sign(error)로 표현되어 이진 연산에 유사한 계산을 가능하게 한다.
• 이 방법은 온라인으로 순차적으로 작동하며, 각 입력 제시 후 가중치를 갱신한다.
• 알고리즘은 아날로그 VLSI 하드웨어에 직접 구현되도록 설계되어 면적과 전력 소비를 최소화한다.
• 프레임워크는 입력이 비선형 뉴런의 큰 집합에 걸쳐 표현되는 신경 인구 코드 기반으로 작동한다.

실험 결과

연구 질문

• RQ1 신호 기반 학습 규칙은 최소한의 계산 복잡성으로 뉴로모픽 하드웨어 아키텍처에서 효과적인 훈련을 달성할 수 있는가?
• RQ2 SOL 알고리즘은 회귀 작업을 위한 TAB 프레임워크 훈련에서 얼마나 잘 성능을 내는가?
• RQ3 신호 기반 가중치 갱신 규칙은 스파이킹 신경망에서 온라인 및 순차적 학습과 호환되는가?
• RQ4 전체 정밀도 산술 없이도 아날로그 VLSI 하드웨어에 효율적으로 구현할 수 있는가?
• RQ5 단지 부호 정보만을 사용하는 것이 실용적인 회귀 작업을 위한 충분한 학습 능력을 유지하는가?

주요 결과

• SOL 알고리즘은 은닉 활성화와 출력 오차의 부호 정보만을 사용하여 다수의 회귀 작업을 위한 TAB 프레임워크를 성공적으로 훈련시켰다.
• 이 방법은 계산 오버헤드를 최소화하면서 안정적인 학습 수렴을 달성하여 실시간 뉴로모픽 시스템에 적합하다.
• 이진 가중치 갱신 메커니즘 덕분에 알고리즘이 아날로그 VLSI 구현과 천연 호환된다.
• 프레임워크는 다양한 회귀 벤치마크에서 뛰어난 성능을 보이며, 부호 기반 학습의 실현 가능성을 확인했다.
• 기존 백프로파게이션과 비교해 하드웨어 복잡성이 크게 감소하여 저전력 뉴로모픽 컴퓨팅을 가능하게 했다.
• 희소한 부호 기반 신호 조건에서도 학습 효율성이 유지되어 에너지 제약 환경에 적합한 설계를 검증했다.