[논문 리뷰] Deep counter networks for asynchronous event-based processing

Jonathan Binas, Giacomo Indiveri외 1명|arXiv (Cornell University)|2016. 11. 02.

Advanced Memory and Neural Computing참고 문헌 6인용 수 4

한 줄 요약

이 논문은 상태 최고 수준의 MNIST 분류 정확도를 달성하면서도 계산 비용을 크게 줄인, 오직 덧셈과 비교 연산만을 사용하는 최소한의 스파iking 신경망인 딥 컨터 네트워크를 소개한다. 기존의 승수 연산을 제거하고 이벤트 기반 컨터 뉴런을 도입함으로써, 저전력, 비동기, 희박한 처리가 가능해지며, 이는 이전의 변환 기반 스파이킹 네트워크보다 수렴 속도가 빠르고 더 적은 연산을 요구한다.

ABSTRACT

Despite their advantages in terms of computational resources, latency, and power consumption, event-based implementations of neural networks have not been able to achieve the same performance figures as their equivalent state-of-the-art deep network models. We propose counter neurons as minimal spiking neuron models which only require addition and comparison operations, thus avoiding costly multiplications. We show how inference carried out in deep counter networks converges to the same accuracy levels as are achieved with state-of-the-art conventional networks. As their event-based style of computation leads to reduced latency and sparse updates, counter networks are ideally suited for efficient compact and low-power hardware implementation. We present theory and training methods for counter networks, and demonstrate on the MNIST benchmark that counter networks converge quickly, both in terms of time and number of operations required, to state-of-the-art classification accuracy.

연구 동기 및 목표

• 하드웨어 구현에서 전통적인 딥 네트워크의 높은 계산 비용, 특히 승수 연산을 해결하기 위해.
• 화면 기반 네트워크의 정확도를 유지하면서 효율적이고 비동기적, 이벤트 기반의 계산을 가능하게 하는 스파이킹 신경망 모델을 개발하기 위해.
• 기존의 스파이킹 네트워크 변환 방법에서 흔히 발생하는 근사 오류를 제거하기 위해, 화면 기반 추론과 정확히 동일한 등가성을 확보하기 위해.
• 이벤트 기반 센서와 실시간 처리에 적합한, 오직 덧셈과 비교 연산만을 사용하는 컴act하고 저전력의 하드웨어 구현을 가능하게 하기 위해.

제안 방법

• 오직 덧셈과 비교만을 사용하는 최소한의 스파이킹 단위인 컨터 뉴런을 제안하여, 고비용의 승수 연산을 피한다.
• 뉴런 출력이 순수 입력이 임계값을 초과할 경우 1, 그렇지 않으면 0이 되는 이진 활성화 모델을 사용하며, 역전파를 위해 미분 가능한 시그모이드 근사치를 사용해 훈련한다.
• 동적 범위를 향상시키고 필요한 연산 수를 줄이기 위해 이산화된 ReLU 함수를 사용해 비이진 활성화로 모델을 확장한다.
• 기존 네트워크와의 등가성을 보장하기 위해 고해상도 가중치와 활성화를 사용하는 화면 기반 훈련 절차를 사용한다.
• 입력 데이터를 비동기적이고 점진적으로 처리하며, 충분한 입력 이벤트가 도착한 즉시 출력을 생성한다.
• 훈련 중에는 고해상도 매개변수를 기반으로 가중치 업데이트를 수행하는 경사 하강법을 적용하지만, 추론 시에는 저정밀도 정수 산술을 사용한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망을 설계하여, 근사 오차 없이 화면 기반 딥 네트워크의 추론을 정확히 재현할 수 있는가?
• RQ2 오직 덧셈과 비교 연산만을 사용하는 이벤트 기반 처리가, 상당히 적은 연산으로 MNIST에서 최고 수준의 정확도를 달성할 수 있는가?
• RQ3 컨터 네트워크의 비동기적, 이벤트 기반 특성은 기존의 화면 기반 네트워크와 비교해 추론 속도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 컨터 뉴런 모델을 비이진 활성화로 확장할 수 있는가? 이때 계산 효율성과 정확도를 유지할 수 있는가?
• RQ5 이벤트 기반 처리 하에서, 완전 연결형과 컨볼루션형 아키텍처 간의 네트워크 성능은 어떻게 다를까?

주요 결과

• 컨터 네트워크는 오직 덧셈과 비교 연산만을 사용해 상태 최고 수준의 MNIST 분류 정확도를 달성하며, 승수 연산의 필요성을 제거한다.
• 이산화된 ReLU 기반의 확장된 컨터 뉴런 모델은 이미지당 필요한 이벤트 수를 500,000 이하로 줄여, 이전의 변환 기반 방법이 요구했던 100만 건 이상의 이벤트를 뛰어넘는 성능을 보였다.
• 네트워크는 입력 도착 후 몇 초 내로 정확한 분류를 수행하며, 테스트 이미지의 99%가 전체 입력 패턴이 제공되기 전에 분류되었다.
• 이진 뉴런을 사용하는 기본 컨터 모델은 포화로 인해 대부분의 이벤트를 조기에 방출하지만, ReLU 유사 동역학을 가진 확장된 모델은 활성도를 점진적으로 끌어올려 더 효율적인 운영이 가능하다.
• 아키텍처의 차이에도 불구하고, 완전 연결형과 컨볼루션형 컨터 네트워크 모두 유사한 성능 추세를 보였으며, 깊이가 깊어질수록 동일한 정확도를 달성하기 위해 더 많은 연산이 필요했다.
• 이 시스템은 낮은 지연과 희박한 업데이트를 통해 실시간 추론을 가능하게 하여, 이벤트 기반 센서와 함께 사용할 수 있는 저전력, 컴act한 하드웨어 구현에 이상적이다.