[논문 리뷰] A Microarchitecture Implementation Framework for Online Learning with Temporal Neural Networks

Harideep Nair, John Paul Shen외 1명|arXiv (Cornell University)|2021. 05. 27.

Advanced Memory and Neural Computing참고 문헌 29인용 수 6

한 줄 요약

이 논문은 표준 CMOS에서 시간 신경망(TNNs)을 구현하기 위한 마이크로아키텍처 프레임워크를 제안하며, 다중시냅스 뉴런, 다중뉴런 컬럼, STDP/R-STDP 학습 알고리즘의 하드웨어 최적화 설계를 통해 효율적인 온라인 점진적 학습을 가능하게 한다. 이 프레임워크는 실시간 학습을 구현하면서도 낮은 면적과 전력 오버헤드를 달성하였으며, 45nm CMOS에서 1024×16 컬럼 기준 1.65 mm², 7.96 mW, 42.3 ns 지연을 입증하여 미리 보지 않은 입력에 대한 동적 적응을 지원한다.

ABSTRACT

Temporal Neural Networks (TNNs) are spiking neural networks that use time as a resource to represent and process information, similar to the mammalian neocortex. In contrast to compute-intensive deep neural networks that employ separate training and inference phases, TNNs are capable of extremely efficient online incremental/continual learning and are excellent candidates for building edge-native sensory processing units. This work proposes a microarchitecture framework for implementing TNNs using standard CMOS. Gate-level implementations of three key building blocks are presented: 1) multi-synapse neurons, 2) multi-neuron columns, and 3) unsupervised and supervised online learning algorithms based on Spike Timing Dependent Plasticity (STDP). The proposed microarchitecture is embodied in a set of characteristic scaling equations for assessing the gate count, area, delay and power for any TNN design. Post-synthesis results (in 45nm CMOS) for the proposed designs are presented, and their online incremental learning capability is demonstrated.

연구 동기 및 목표

• 표준 CMOS 기술을 사용하여 시간 신경망(TNNs)을 직접 하드웨어로 구현할 수 있도록 하는 것.
• 딥 네트워크 학습 요구사항과 하드웨어 확장성 간의 격차를 해소하기 위해 뇌에 영감을 받은 에너지 효율적인 대안을 제안하는 것.
• 확장 가능한 마이크로아키텍처 프레임워크를 통해 엣지 디바이스에서 온라인, 점진적, 계속적인 학습을 지원하는 것.
• 최소한의 하드웨어 오버헤드로 실시간 감각 처리에 적합한 TNNs의 실현 가능성을 입증하는 것.

제안 방법

• 다중시냅스 뉴런, 다중뉴런 컬럼, STDP/R-STDP 학습 알고리즘의 게이트 수준 구현을 포함한 표준 CMOS를 사용한 TNNs용 마이크로아키텍처 프레임워크 설계.
• 기존 별도의 메모리 유닛이 필요로 하지 않는, 가중치 저장과 시냅스 처리를 통합한 새로운 시냅스 설계 도입.
• 스피크 타이밍과 처리 윈도우를 표현하기 위해 3비트 시간 정밀도를 갖는 유니어리 인코딩과 15사이클의 감마 클럭을 사용.
• 임의의 TNN 구성에 대해 면적, 지연, 전력 추정을 위한 특성 스케일링 방정식 개발.
• Design Compiler를 사용하여 45nm에서 후기설계 평가를 수행하였으며, 주파수 100 kHz, 공급 전압 0.95V 조건을 적용.
• MNIST의 일부를 사용하여 온라인 학습 능력을 검증하였으며, 클래스 중심점에 수렴하고 미리 보지 않은 클래스의 점진적 학습이 가능함을 입증.

실험 결과

연구 질문

• RQ1 시스템적 마이크로아키텍처 프레임워크를 사용하여 표준 CMOS에서 TNNs를 효율적으로 구현할 수 있는가?
• RQ2 다양한 TNN 크기에 대해 제안된 하드웨어 설계가 면적, 전력, 지연 측면에서 어떻게 스케일링되는가?
• RQ3 기존의 가중치 저장 방식에 비해 통합된 시냅스 설계가 하드웨어 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 TNN 마이크로아키텍처는 실시간으로 이전에 보지 않은 입력에 대해 온라인 점진적 학습을 지원할 수 있는가?
• RQ5 무 supervisory 학습(STDP)에 비해 supervised 학습(R-STDP)을 추가함으로써 면적과 전력 측면에서 어떤 성능 오버헤드가 발생하는가?

주요 결과

• 45nm CMOS에서 1024×16 TNN 컬럼은 면적이 1.65 mm², 전력 소모가 7.96 mW, 핵심 경로 지연이 42.3 ns를 기록하여 일반 모바일 SoC 예산의 1% 미만을 소비한다.
• STDP 학습 규칙은 약 10,000개의 학습 샘플 후 MNIST 숫자와 유사한 클래스 중심점에 수렴함을 보이며, 빠르고 효과적인 학습을 입증한다.
• R-STDP는 가중치가 클래스 중심점 쪽으로 이동하도록 유도하는 supervised 학습을 가능하게 하며, 결과적으로 가중치 행렬에서 해당 숫자와 명확한 유사성을 보임을 확인한다.
• 프레임워크는 온라인 점진적 학습을 지원한다: 초기에 0–8까지의 숫자를 학습한 후, 미리 보지 않은 숫자 '9'는 500개의 샘플 내에 unsupervised STDP를 통해 학습된다.
• R-STDP의 오버헤드는 매우 미미하여 STDP 대비 면적과 전력에서 각각 5% 증가에 그치며, supervised 학습을 가능하게 한다.
• 시냅스 설계는 가중치 저장과 처리를 통합하여 별도의 메모리 유닛이 제거되어 전체 프레임워크의 효율성 향상에 기여한다.