[논문 리뷰] A Fully Spiking Hybrid Neural Network for Energy-Efficient Object Detection

Biswadeep Chakraborty, Xueyuan She외 1명|arXiv (Cornell University)|2021. 04. 21.

Advanced Memory and Neural Computing참고 문헌 67인용 수 49

한 줄 요약

이 논문은 스파iking 컨볼루션 아키텍처에서 비지도 STDP(스파ike 시간 기반 가소성)와 백프로파게이션(STBP)을 통합함으로써 에너지 효율적인 객체 검출을 위한 풀 스파이킹 하이브리드 신경망(FSHNN)을 제안한다. FSHNN은 MSCOCO에서 42.6% mAP를 달성하며, 노이즈가 있는 조건과 제한된 데이터에서 DNN 기반 RetinaNet과 스파이킹 YOLO를 능가하고, 몬테카를로 드롭아웃 기반의 불확실성 추정을 통해 낮은 불확실성과 향상된 일반화 능력을 보여준다.

ABSTRACT

This paper proposes a Fully Spiking Hybrid Neural Network (FSHNN) for energy-efficient and robust object detection in resource-constrained platforms. The network architecture is based on Convolutional SNN using leaky-integrate-fire neuron models. The model combines unsupervised Spike Time-Dependent Plasticity (STDP) learning with back-propagation (STBP) learning methods and also uses Monte Carlo Dropout to get an estimate of the uncertainty error. FSHNN provides better accuracy compared to DNN based object detectors while being 150X energy-efficient. It also outperforms these object detectors, when subjected to noisy input data and less labeled training data with a lower uncertainty error.

연구 동기 및 목표

• 드론과 엣지 로봇과 같은 자원 제약이 있는 플랫폼에서 에너지 효율적인 추론을 가능하게 하는 완전한 스파이킹 신경망을 개발하는 것.
• 비지도 STDP 학습과 지도 학습 기반 백프로파게이션을 통합하여, 낮은 데이터 및 노이즈가 있는 입력 환경에서의 일반화 능력과 강건성을 향상시키는 것.
• 몬테카를로 드롭아웃을 활용해 스파이킹 객체 검출기의 불확실성을 정량화하여 진짜 양성과 거짓 양성 간의 구분 능력을 향상시키는 것.
• 스파이킹 신경망에서 하이브리드 학습이 DNN에 비해 성능은 유사하거나 뛰어나면서도 에너지 효율성을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• FSHNN는 저수준 특징에 대해 비지도 STDP 학습을 통해 사전 훈련된 스파이킹 컨볼루션 레이어를 포함하는 RetinaNet 기반의 백본을 사용한다.
• 하이브리드 훈련 전략은 초기 특징 학습을 위해 STDP를, 종단 간 최적화를 위해 백프로파게이션을 사용하며, 스파이킹 다이내믹스를 유지한다.
• 최종 DNN를 완전한 스파이킹 네트워크로 변환하기 위해 DNN에서 SNN로의 변환 기법과 임계값 균형 조정을 사용하며, STDP로 훈련된 레이어는 동결한다.
• 몬테카를로 드롭아웃은 FSHNN에서 예측 불확실성을 추정하는 데 적응하여 불확실성 인식 추론을 가능하게 한다.
• 입력 표현으로 레이트 기반 인코딩을 사용하며, 아날로그 활성화는 300개의 시간 단계 동안의 스파이크 트레인 레이트로 근사한다.
• 에너지 효율성은 FLOPS와 하드웨어 기반의 MAC/AC 에너지 비용을 기반으로 평가되며, SNN의 에너지 소비는 시간 단계 수에 따라 스케일링된다(T=300).

실험 결과

연구 질문

• RQ1 STDP와 백프로파게이션을 통합한 하이브리드 스파이킹 네트워크가 표준 DNN 기반 객체 검출기보다 높은 정확도를 달성할 수 있는가?
• RQ2 STDP 학습 통합이 노이즈가 많은 입력이나 제한된 레이블 데이터 조건에서 일반화 능력과 강건성을 향상시키는가?
• RQ3 몬테카를로 드롭아웃 기반의 불확실성 추정이 스파이킹 객체 검출기에서 효과적으로 적용되어 신뢰도를 향상시킬 수 있는가?
• RQ4 완전한 스파이킹 아키텍처가 객체 검출에서 DNN에 비해 얼마나 많은 에너지 소비를 줄일 수 있는가?

주요 결과

• FSHNN는 MSCOCO 데이터셋에서 평균 정밀도(mAP) 42.6%를 달성하며, 표준 RetinaNet의 38.8% mAP를 초월한다.
• 여섯 개의 STDP 레이어를 가진 FSHNN는 더 효율적인 아키텍처를 사용한 스파이킹 YOLO(26.24% mAP)를 능가한다.
• 노이즈가 있는 입력 조건에서 몬테카를로 드롭아웃 측정 결과, FSHNN는 RetinaNet 대비 불확실성을 20-30% 감소시켰다.
• FSHNN는 제한된 레이블 데이터로 훈련된 경우에도 높은 성능을 유지하며, 표준 DNN와는 달리 뛰어난 일반화 능력을 보였다.
• 에너지 효율성 분석 결과, AC 연산 기반 및 시간 단계 수 감소(T=300)를 고려할 때 이론적으로 DNN 대비 에너지 효율성(EE)이 147.54배 향상되었다.
• 제거 분석 결과, STDP와 백프로파게이션의 조합(FSHNN)이 COCO-source-test에서 가장 높은 mAP(0.426)와 AR@100(56.2) 성능을 기록하며, 단독 STDP 또는 단독 백프로파게이션 모델보다 뛰어난 성능을 보였다.