[논문 리뷰] Temporally Efficient Deep Learning with Spikes

Peter O’Connor, Efstratios Gavves외 1명|arXiv (Cornell University)|2017. 06. 13.

Advanced Memory and Neural Computing참고 문헌 11인용 수 11

한 줄 요약

이 논문은 뉴런 간에 활성값과 그 시간 도함수의 조합을 통신함으로써 처리 주파수에 관계없이 자료의 변화율에 따라 계산이 스케일링되는 시간적으로 효율적인 딥러닝 프레임워크를 제안한다. 이 방법은 생물학적으로 유래된 학습 규칙과 동치인 스파iking 타이밍 의존성 플라스티시티(Spike-Timing Dependent Plasticity, STDP)를 제공하며, MNIST 및 시간적 MNIST에서 표준 백프로파게이션 네트워크와 유사한 성능을 달성하면서도 계산을 크게 줄인다. 특히 곱셈 연산이 비용이 많이 드는 하드웨어에서 유리하다.

ABSTRACT

The vast majority of natural sensory data is temporally redundant. Video frames or audio samples which are sampled at nearby points in time tend to have similar values. Typically, deep learning algorithms take no advantage of this redundancy to reduce computation. This can be an obscene waste of energy. We present a variant on backpropagation for neural networks in which computation scales with the rate of change of the data - not the rate at which we process the data. We do this by having neurons communicate a combination of their state, and their temporal change in state. Intriguingly, this simple communication rule give rise to units that resemble biologically-inspired leaky integrate-and-fire neurons, and to a weight-update rule that is equivalent to a form of Spike-Timing Dependent Plasticity (STDP), a synaptic learning rule observed in the brain. We demonstrate that on MNIST and a temporal variant of MNIST, our algorithm performs about as well as a Multilayer Perceptron trained with backpropagation, despite only communicating discrete values between layers.

연구 동기 및 목표

• 영상이나 음성과 같은 감각 자료의 시간적 중복성을 활용하여 딥러닝의 계산 비용을 줄이기 위해.
• 고정된 프레임 레이트로 처리하는 대신 입력 자료의 변화율에 적응하는 뉴럴 네트워크 레이어 간 통신 체계를 설계하기 위해.
• 희소성과 양자화된 스파이크 유사 신호를 사용하면서도 정확도를 유지하는 기울기 가능 학습 알고리즘을 개발하기 위해.
• 제안된 방법과 스파이크 타이밍 의존성 플라스티시티(STDP)와 같은 생물학적으로 타당한 학습 규칙 간의 연결을 수립하기 위해.
• 특히 에너지 제약이 있는 하드웨어에서 상당히 감소된 계산 연산으로도 경쟁 가능한 성능을 달성할 수 있는지 보여주기 위해.

제안 방법

• 뉴런들은 현재 값(비례 성분)과 시간 차분(도함수 성분)의 선형 조합으로 활성값을 인코딩하며, 이는 kp와 kd 매개변수에 의해 결정된다.
• 인코딩 함수(식 4)는 변화가 있는 경우에만 활성값을 전송함으로써 통신의 시간적 희소성을 보장한다.
• 디코딩 메커니즘(식 5)은 지수적으로 감쇠하는 시간 평균을 사용하여 원래 활성값을 재구성하며, 누설 적분-화염 행동을 모방한다.
• 시그마-델타 양자화(Q 함수, 식 3)는 병합된 신호에 적용되어 신호 무결성을 유지하면서도 이산적인 스파이크 유사 출력을 생성한다.
• 가중치 갱신은 시간을 거슬러 올라가는 백프로파게이션을 통해 유도되며, 이는 스파이크 타이밍 의존성 플라스티시티(STDP)의 한 형태와 수학적으로 동치이다.
• 네트워크는 MNIST와 시간적 변형 데이터셋에서 훈련되며, 계산 비용은 연산 수와 산술 비용 모델 기반 에너지 추정치로 측정된다.

실험 결과

연구 질문

• RQ1 입력 자료의 변화율에 맞추어 처리하는 방식으로 고정된 프레임 레이트로 처리하는 것과 대비하여 딥러닝 네트워크의 계산 비용을 줄일 수 있는가?
• RQ2 활성값과 그 시간 도함수에 기반한 통신 체계가 깊은 신경망에서 안정적이고 정확한 학습을 가능하게 하는가?
• RQ3 이러한 체계가 누설 적분 및 스파이크 행동과 같은 생물학적으로 타당한 신경 동역학을 자연스럽게 유도할 수 있는가?
• RQ4 유도된 가중치 갱신 규칙이 STDP와 같은 알려진 시냅스 플라스티시티 규칙과 동치인가?
• RQ5 특히 에너지 제약이 있는 하드웨어에서 표준 백프로파게이션 네트워크와 유사한 성능를 달성하면서도 계산 연산을 크게 줄일 수 있는가?

주요 결과

• 제안된 비례-도함수 신경망(PDNN)은 MNIST에서 테스트 정확도 98.36%를 달성했으며, 표준 다층퍼셉트론(MLP)의 98.25%보다 略적으로 높은 성능을 보였다.
• 시간적 MNIST 데이터셋에서는 PDNN이 97.99%의 테스트 정확도를 기록했고, MLP의 98.28%보다 약간 낮은 성능을 보였다. 이는 시간적 데이터 처리에 있어 성능 저하가 발생했음을 시사하며, 향후 연구가 필요하다.
• 시간적 중복성이 있는 데이터에서 PDNN은 시간적 MNIST에 대해 15⋅10^12회 연산을 소비한 반면, 표준 MNIST에서는 32⋅10^12회 연산을 소비하여, 시간적 중복성 자료에서 계산이 줄어들었다는 것을 입증했다.
• 곱셈 연산이 비용이 많이 드는 하드웨어에서 이 방법의 계산적 이점은 더욱 두드러진다. 곱셈은 약 32pJ, 덧셈은 약 0.1pJ의 에너지 소비를 유발하므로, 저전력 시스템에서 매우 효율적이다.
• 유도된 가중치 갱신 규칙은 수학적으로 스파이크 타이밍 의존성 플라스티시티(STDP)의 한 형태와 동치이며, 생물학적 학습 메커니즘과의 연결 고리를 제공한다.
• 디코딩 규칙 하에 네트워크의 뉴런은 자연스럽게 누설 적분-화염 단위처럼 행동함을 보여주며, 생물학적으로 타당한 동역학적 행동을 유도함을 시사한다.