[논문 리뷰] Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network

Rui Zhang, Luziwei Leng외 6명|arXiv (Cornell University)|2023. 04. 24.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 계층적 신경 구조 탐색과 새로운 이중경로 스파이킹 스페이셜리-어댑티브 모듈리제이션(SSAM) 블록을 활용하여 이벤트 기반 세분화를 위한 적응형 스파이킹 인코더-디코더 네트워크를 제안한다. 이는 희박한 이벤트 표현을 향상시킨다. DDD17에서 72.57% MIoU, DSEC-Semantic에서 57.22%를 기록하여 최고의 ANN보다 4% 뛰어나며, 계산 및 에너지 비용을 크게 줄였다.

ABSTRACT

Spiking neural networks (SNNs), known for their low-power, event-driven computation and intrinsic temporal dynamics, are emerging as promising solutions for processing dynamic, asynchronous signals from event-based sensors. Despite their potential, SNNs face challenges in training and architectural design, resulting in limited performance in challenging event-based dense prediction tasks compared to artificial neural networks (ANNs). In this work, we develop an efficient spiking encoder-decoder network (SpikingEDN) for large-scale event-based semantic segmentation tasks. To enhance the learning efficiency from dynamic event streams, we harness the adaptive threshold which improves network accuracy, sparsity and robustness in streaming inference. Moreover, we develop a dual-path Spiking Spatially-Adaptive Modulation module, which is specifically tailored to enhance the representation of sparse events and multi-modal inputs, thereby considerably improving network performance. Our SpikingEDN attains a mean intersection over union (MIoU) of 72.57\% on the DDD17 dataset and 58.32\% on the larger DSEC-Semantic dataset, showing competitive results to the state-of-the-art ANNs while requiring substantially fewer computational resources. Our results shed light on the untapped potential of SNNs in event-based vision applications. The source code will be made publicly available.

연구 동기 및 목표

• 이벤트 기반 시각의 밀도 높은 예측 작업, 예를 들어 세분화에 대해 경쟁력 있는 SNN의 부족을 해결하기 위해.
• SNN의 아키텍처 및 학습 과제, 특히 정규화나 어텐션과 같은 현대 딥러닝 컴포넌트와의 호환성 문제를 해결하기 위해.
• 대규모 이벤트 기반 데이터셋에서 최고 수준의 ANN 성능을 따라하거나 초월하는 저전력, 효율적인 SNN 아키텍처를 설계하기 위해.
• 희박하고 동적인 이벤트 스트림에서 SNN 성능을 향상시키기 위해 적응형 임계값 메커니즘과 MFI 호환 모듈의 효과를 탐구하기 위해.
• SNN이 복잡한 시각 작업에서 ANN을 능가할 수 있으며, 초저전력 계산 및 에너지 비용을 유지할 수 있음을 입증하기 위해.

제안 방법

• 제안된 네트워크는 15 에포크 동안 반복적인 이중 최적화를 통해 셀 수준과 레이어 수준에서 계층적 탐색 방법을 사용하여 인코더 아키텍처를 최적화한다.
• 고다이나믹 레인지 이벤트 입력에 대응하여 활성화를 동적으로 조절하기 위해 스파이킹 뉴런에 적응형 임계값 메커니즘을 도입하여 시간적 반응성을 향상시킨다.
• 희박한 이벤트 표현을 향상시키기 위해 이중경로 스파이킹 스페이셜리-어댑티브 모듈리제이션(SSAM) 블록을 설계하였으며, 이는 곱셈 없는 추론(MFI)과 호환된다.
• 네트워크는 Adam 옵timizer를 사용한 서로서티 그래디언트 역전파로 학습되며, 학습률 감소는 Poly 전략을 통해 구현되며, 아키텍처 탐색 이후 채널 확장을 수행한다.
• 순수 이벤트 기반 입력과 하이브리드 이벤트+프레임 입력 모두에서 모델을 평가하였으며, 회색조 이미지가 가장자리 및 소형 객체 탐지 성능을 향상시킨다.
• 아키텍처 탐색은 20 에포크 동안 진행되며, 네 개의 랜덤 시드를 사용하고, 핵심 체크포인트에서 검증 MIoU를 기반으로 가장 성능이 좋은 아키텍처를 선별한다.

실험 결과

연구 질문

• RQ1 SNN이 이벤트 기반 세분화에서 최고 수준의 성능을 달성하여, 심지어 고성능 ANN을 초월할 수 있는가?
• RQ2 스파이킹 뉴런의 적응형 임계값 메커니즘이 동적이고 희박한 이벤트 스트림에서 성능을 어떻게 향상시키는가?
• RQ3 MFI 호환성과 이중경로 SSAM 블록이 SNN에서 희박한 이벤트 표현을 얼마나 향상시킬 수 있는가?
• RQ4 계층적 신경 구조 탐색이 효율성을 훼손하지 않으면서도 SNN을 밀도 높은 예측 작업에 효과적으로 최적화할 수 있는가?
• RQ5 회색조 이미지를 통합하면, 특히 소형 또는 세밀한 구조를 가진 객체의 경우 세분화 정확도가 향상되는가?

주요 결과

• 제안된 SNN은 DDD17 데이터셋에서 평균 교차율(MIoU) 72.57%를 기록하여 최고 성능을 낸 ANN보다 4% 뛰어나다.
• 더 큰 해상도의 DSEC-Semantic 데이터셋에서 SNN은 57.22% MIoU를 기록하여 최고 수준의 ANN 기반 방법보다 4% 향상되었다.
• 아키텍처 탐색 과정은 최적화되지 않은 베이스라인 대비 약 19% 성능 향상을 이끌었으며, 여러 랜덤 시드에서 일관된 성과를 보였다.
• 회색조 이미지의 포함으로 'human' 클래스의 IoU는 35.82%, 'vehicle' 클래스는 28.57% 향상되어 가장자리 탐지가 더욱 선명해졌다.
• ANN보다 훨씬 적은 연산 수를 소비하고 잠재적 에너지 비용도 낮아, 저전력 응용 분야에 적합함을 확인했다.
• 이 연구는 SNN이 복잡하고 대규모 이벤트 기반 세분화 작업에서 ANN을 능가할 수 있음을 처음으로 입증했다.