[논문 리뷰] Deep Spiking Convolutional Neural Network for Single Object Localization Based On Deep Continuous Local Learning

Sami Barchid, José Mennesson외 1명|arXiv (Cornell University)|2021. 05. 12.

Advanced Memory and Neural Computing참고 문헌 25인용 수 7

한 줄 요약

이 논문은 DECOLLE 프레임워크를 기반으로 한 딥 스파iking 컨볼루션 신경망(DCSNN)을 제안하며, 보조 기반 국소 학습과 서rogate 기울기를 사용하여 회색조 이미지에서 단일 객체 정위치를 수행한다. Oxford-IIIT-Pet 데이터셋에서 63.2%의 mIoU를 달성하여, SNN을 복잡한 컴퓨터 비전 작업에 적용할 수 있음을 입증한다.

ABSTRACT

With the advent of neuromorphic hardware, spiking neural networks can be a good energy-efficient alternative to artificial neural networks. However, the use of spiking neural networks to perform computer vision tasks remains limited, mainly focusing on simple tasks such as digit recognition. It remains hard to deal with more complex tasks (e.g. segmentation, object detection) due to the small number of works on deep spiking neural networks for these tasks. The objective of this paper is to make the first step towards modern computer vision with supervised spiking neural networks. We propose a deep convolutional spiking neural network for the localization of a single object in a grayscale image. We propose a network based on DECOLLE, a spiking model that enables local surrogate gradient-based learning. The encouraging results reported on Oxford-IIIT-Pet validates the exploitation of spiking neural networks with a supervised learning approach for more elaborate vision tasks in the future.

연구 동기 및 목표

• 딥 스파킹 신경망(SNN)을 단순 분류를 넘어서는 복잡한 컴퓨터 비전 작업에 훈련시킬 수 있는 가능성을 탐색하는 것.
• 에너지 효율적인 뉴로모픽 하드웨어와 객체 정위치와 같은 현대적 비전 작업 간 격차를 메우는 것.
• DECOLLE와 같은 보조 국소 학습 규칙이 SNN에 적용되어 비전 작업에서 계층적 특징 학습이 가능함을 검증하는 것.
• 정적 레이트 코딩 이미지를 사용한 SNN 기반 객체 정위치에 대한 개념 증명을 수립하는 것.
• 미래의 이벤트 기반 비전 시스템에서 SNN의 잠재력을 탐색하는 것, 특히 동적 센서와의 융합을 고려하여.

제안 방법

• 이 방법은 DECOLLE 스파킹 모델 기반의 딥 인코더-디코더 아키텍처를 사용하며, 서rogate 기울기를 통한 국소적, 백프로파게이션 유사 학습을 가능하게 한다.
• SNN은 AdaMax 옵timizer를 사용하고, 1e-9의 학습률로 100 에포크 동안 부드러운 L1 손실을 최소화하여 훈련된다.
• 입력 이미지는 회색조로 변환되고, T개의 타임스텝 동안 레이트 코딩을 통해 정적 데이터를 스파이크 형식으로 표현한다.
• 최종 예측은 최종 리더아웃 레이어의 마지막 타임스텝에서 선택되며, 더 깊은 레이어에서 유도된 계층적 표현을 활용한다.
• 데이터 증강에는 무작위 수평 뒤집기와 밝기 조정이 포함되어 일반화 능력을 향상시킨다.
• 신경망은 오차 신호에 기반한 국소 시냅스 가소성 규칙을 사용하여 가중치를 업데이트하며, 전역 백프로파게이션을 피한다.

실험 결과

연구 질문

• RQ1 보조 국소 학습 규칙을 사용해 훈련된 딥 스파킹 신경망(SNN)은 객체 정위치와 같은 복잡한 비전 작업을 수행할 수 있는가?
• RQ2 DECOLLE 프레임워크는 정적 이미지 데이터에 레이트 코딩을 사용해 SNN을 훈련시키는 데 얼마나 효과적인가?
• RQ3 표준 딥 러닝 모델과 비교해 SNN의 객체 정위치 성능는 어떠한가?
• RQ4 데이터 불균형과 입력 코딩 방식은 SNN의 객체 정위치 성능에 어떤 영향을 미치는가?
• RQ5 정적 이미지에서 훈련된 SNN은 향후 이벤트 기반 비동기적 비전 데이터로 확장될 수 있는가?

주요 결과

• 제안된 DCSNN은 Oxford-IIIT-Pet 테스트 세트에서 평균 교차율(mIoU) 63.2%를 달성하여, SNN이 객체 정위치에 적용될 수 있음을 입증한다.
• 정성적 결과는 경계 상자가 대부분 높은 정확도(55–70% mIoU)로 예측되었음을 보여주나, 작은 크기 또는 배경에 위치한 객체에서는 성능이 저하됨을 확인한다.
• 희귀 및 어려운 예제에서는 성능 저하가 발생하며, 이는 데이터셋 내에서 근접 촬영의 반려동물 이미지가 우세한 데이터 불균형 때문일 가능성이 높다.
• 세그멘테이션 마스크에서 바운딩 박스로의 출력 변환 전략은 정보 손실을 유발하여 좌표 예측 정확도에 영향을 준다.
• 이 연구는 보조 SNN과 국소 학습 규칙(예: DECOLLE)이 복잡한 비전 작업에 적용될 수 있음을 확인하며, 기능적인 SNN 기반 객체 검출로 향한 첫걸음으로서의 의미를 지닌다.
• 향후 연구에서는 이벤트 기반 카메라를 탐색하여 SNN의 비동기적이고 희소적인 특성을 활용하고 에너지 효율성을 향상시켜야 한다.