[논문 리뷰] Bridging the Gap Between Neural Networks and Neuromorphic Hardware with A Neural Network Compiler

Yu Ji, Youhui Zhang외 2명|arXiv (Cornell University)|2017. 11. 15.

Advanced Memory and Neural Computing참고 문헌 57인용 수 5

한 줄 요약

이 논문은 신경망 컴파일러를 제안하며, 자유로운 구조를 가진 훈련된 신경망을 뉴모르픽 및 프로세싱-인-메모리(PIM) 가속기의 하드웨어 제약 조건을 고려한 등가 모델로 컴파일한다. 계산 그래프 추상화를 통해 소프트웨어와 하드웨어를 분리하고 정밀도 인식, 계층별 변환 기법을 적용함으로써, 재훈련 최소화로 인한 낮은 오차를 가진 신속한 ANNs 및 SNNs의 다양한 뉴모르픽 플랫폼에 대한 매핑을 가능하게 한다.

ABSTRACT

Different from developing neural networks (NNs) for general-purpose processors, the development for NN chips usually faces with some hardware-specific restrictions, such as limited precision of network signals and parameters, constrained computation scale, and limited types of non-linear functions. This paper proposes a general methodology to address the challenges. We decouple the NN applications from the target hardware by introducing a compiler that can transform an existing trained, unrestricted NN into an equivalent network that meets the given hardware's constraints. We propose multiple techniques to make the transformation adaptable to different kinds of NN chips, and reliable for restrict hardware constraints. We have built such a software tool that supports both spiking neural networks (SNNs) and traditional artificial neural networks (ANNs). We have demonstrated its effectiveness with a fabricated neuromorphic chip and a processing-in-memory (PIM) design. Tests show that the inference error caused by this solution is insignificant and the transformation time is much shorter than the retraining time. Also, we have studied the parameter-sensitivity evaluations to explore the tradeoffs between network error and resource utilization for different transformation strategies, which could provide insights for co-design optimization of neuromorphic hardware and software.

연구 동기 및 목표

• 유연하고 고정밀도의 신경망 모델과 뉴모르픽 가속기의 하드웨어 제약 사이의 격차를 해소하기 위해.
• 재훈련 없이도 특화된 뉴모르픽 하드웨어에서 사전 훈련된 자유로운 구조의 신경망을 재사용할 수 있도록 하기 위해.
• 인공신경망(ANNs)과 스파iking 신경망(SNNs)을 모두 지원하는 일반적이고 이식 가능한 컴파일 솔루션을 제공함으로써 다양한 하드웨어 플랫폼을 포괄하기 위해.
• 제약 조건이 있는 환경에서 높은 자원 활용도를 유지하면서도 추론 오차와 변환 시간을 최소화하기 위해.
• 다양한 변환 전략 하에서 모델 정확도와 하드웨어 자원 사용량 간의 상호작용을 분석함으로써 하드웨어-소프트웨어 공동 설계의 통찰을 제공하기 위해.

제안 방법

• 계산 그래프(CG) 추상화를 통해 신경망 애플리케이션과 대상 하드웨어를 분리함으로써 플랫폼 독립적인 모델 표현을 가능하게 한다.
• 고정밀도 가중치와 활성화를 대상 하드웨어의 제한된 정밀도 데이터 유형(예: 1비트, 2비트)으로 매핑하기 위해 계층별 정밀도 인식 변환 기법을 적용한다.
• 정확도와 자원 효율성의 균형을 맞추기 위해 동적이고 계층별 정밀도 설정을 수행한다.
• 통합된 컴파일 파이프라인을 통해 인공신경망(ANNs)과 스파iking 신경망(SNNs)을 모두 지원한다.
• 가중치 양자화, 활성화 스케일링, 비선형 함수 근사화와 같은 최적화 기법을 활용하여 하드웨어 제약 조건 하에서도 모델 정확도를 유지한다.
• 제작된 뉴모르픽 칩과 PIM 기반 가속기에서 컴파일러를 검증하여 변환 오버헤드가 낮고 추론 오차가 거의 없는 결과를 도출했다.

실험 결과

연구 질문

• RQ1 일반 목적의 신경망 컴파일러가 사전 훈련된 자유로운 구조의 신경망을 다양한 뉴모르픽 하드웨어로 효과적으로 매핑할 수 있으며, 정확도 손실이 최소화되는가?
• RQ2 제안된 컴파일러의 변환 시간은 하드웨어 특화 모델 개발에 필요한 재훈련 시간과 비교해 어떻게 되는가?
• RQ3 엄격한 정밀도 및 연결성 제약 조건 하에서 다양한 변환 전략을 적용할 경우, 모델 정확도와 하드웨어 자원 활용도 사이의 상호작용은 어떠한가?
• RQ4 1비트 정밀도나 제한된 비선형 기능 지원을 가진 뉴모르픽 가속기와 같은 다양한 유형의 가속기에서도 컴파일러가 네트워크 동작을 얼마나 잘 유지할 수 있는가?
• RQ5 컴파일러가 모델 변환 시 파라미터 민감도 상호작용을 드러내어 하드웨어와 소프트웨어의 효율적 공동 설계를 가능하게 하는가?

주요 결과

• 제안된 컴파일러는 뉴모르픽 하드웨어로 모델 매핑 시 추론 오차가 거의 없으며, 일반적으로 재훈련에 의해 유발되는 변동보다 훨씬 낮은 수준을 기록한다.
• 변환 시간은 재훈련 시간보다 훨씬 빠르며, 전체 재훈련 주기 대비 수 개의 주기 단위 이상의 속도 향상이 보고되었다.
• 이 방법은 ANNs와 SNNs를 모두 지원하여, 제작된 칩과 PIM 설계를 포함한 다양한 뉴모르픽 가속기에서의 플랫폼 간 배포를 가능하게 한다.
• 파라미터 민감도 분석을 통해 모델 정확도와 하드웨어 자원 사용량 간 명확한 상충 관계가 드러나며, 이를 바탕으로 정보 기반의 공동 설계 결정을 내릴 수 있다.
• 계층별 정밀도 가변 변환 전략이 1비트 정밀도 및 제한된 팬인/팬아웃을 포함한 엄격한 하드웨어 제약 조건 하에서도 모델 무결성을 효과적으로 유지한다.
• 이 솔루션은 재현성 의존 방법에 국한되지 않고, 낮은 재현성 또는 고정밀도 요구가 있는 모델에 대해서도 엄격한 하드웨어 제약 조건 하에서 실용 가능함을 입증한다.