[논문 리뷰] DashNet: A Hybrid Artificial and Spiking Neural Network for High-speed Object Tracking

Zheyu Yang, Yujie Wu외 6명|arXiv (Cornell University)|2019. 09. 15.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 26

한 줄 요약

DashNet는 고속 물체 추적을 위한 하이브리드 인공신경망(ANN) 및 스파iking 신경망(SNN) 프레임워크를 제안한다. 이는 동기적 프레임 기반 데이터(ANN)와 이방성 스파이크 기반 데이터(SNN)를 동시에 처리하며, 시간 보완 필터(TCF)와 주의 모듈을 도입하여 NFS-DAVIS 및 PRED18 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 뉴로모르픽 하드웨어에서 2083 FPS라는 기록적인 속도를 기록했다.

ABSTRACT

Computer-science-oriented artificial neural networks (ANNs) have achieved tremendous success in a variety of scenarios via powerful feature extraction and high-precision data operations. It is well known, however, that ANNs usually suffer from expensive processing resources and costs. In contrast, neuroscience-oriented spiking neural networks (SNNs) are promising for energy-efficient information processing benefit from the event-driven spike activities, whereas, they are yet be evidenced to achieve impressive effectiveness on real complicated tasks. How to combine the advantage of these two model families is an open question of great interest. Two significant challenges need to be addressed: (1) lack of benchmark datasets including both ANN-oriented (frames) and SNN-oriented (spikes) signal resources; (2) the difficulty in jointly processing the synchronous activation from ANNs and event-driven spikes from SNNs. In this work, we proposed a hybrid paradigm, named as DashNet, to demonstrate the advantages of combining ANNs and SNNs in a single model. A simulator and benchmark dataset NFS-DAVIS is built, and a temporal complementary filter (TCF) and attention module are designed to address the two mentioned challenges, respectively. In this way, it is shown that DashNet achieves the record-breaking speed of 2083FPS on neuromorphic chips and the best tracking performance on NFS-DAVIS and PRED18 datasets. To the best of our knowledge, DashNet is the first framework that can integrate and process ANNs and SNNs in a hybrid paradigm, which provides a novel solution to achieve both effectiveness and efficiency for high-speed object tracking.

연구 동기 및 목표

• 하이브리드 모델 평가를 위한 동기적 프레임 기반(ANN) 및 이방성 스파이크 기반(SNN) 데이터를 모두 포함하는 벤치마크 데이터셋의 부족 문제를 해결한다.
• 통합 추적 프레임워크 내에서 동기적 ANN 출력과 이방성 SNN 스파이크를 동시에 처리하는 도전 과제를 해결한다.
• 기존 연구에서 다루지 않은 바와 같이, SNN을 직접 시각 추적 작업에 훈련시킬 수 있도록 한다.
• ANN과 SNN의 장점을 융합하여 높은 추적 정확도와 초저전력 소비를 동시에 달성한다.
• 뉴로모르픽 하드웨어에서 실시간 성능을 입증하고, 물체 추적 분야에서 새로운 속도 기록을 수립한다.

제안 방법

• 프레임 기반 데이터셋(예: NFS)을 이벤트 카메라 시뮬레이션 및 FCN 기반 시간 간격 보간을 사용해 스파이크 기반 신호로 변환하는 하이브리드 데이터 시뮬레이터를 개발하여, NFS-DAVIS 벤치마크 데이터셋을 구축하였다.
• 세 단계로 구성된 하이브리드 아키텍처를 설계하였다: (1) APS(프레임) 데이터에 대해 별도의 ANN을 훈련하고, DVS(스파이크) 데이터에 대해 SNN을 훈련한다; (2) 시간 보완 필터(TCF)를 적용하여 이방성 SNN 출력과 동기적 ANN 출력을 동기화하고 융합한다.
• TCF 출력을 피드백하여 프레임 기반 예측을 개선하는 주의 모듈을 통합함으로써, 특징 표현과 추적 정확도를 향상시켰다.
• 일반 목적 컴퓨터와 뉴로모르픽 칩(Tianjic) 양쪽에서 전체 DashNet 모델을 구현하여 하드웨어 수준에서 속도와 에너지 효율성 평가를 가능하게 하였다.
• SNN에서 이진 스파이크 통신과 이벤트 기반 처리를 활용하여 계산량과 대역폭을 최소화하면서도 높은 추론 속도를 유지하였다.
• SNN에서 곱셈-덧셈 연산을 최소화하고 덧셈 연산 중심의 계산을 선호함으로써, 뉴로모르픽 하드웨어에 최적화된 모델을 설계하였다.

실험 결과

연구 질문

• RQ1 하이브리드 모델은 ANN의 높은 정확도 특징 학습 능력과 SNN의 에너지 효율성을 효과적으로 융합하여 실시간 물체 추적에 활용할 수 있는가?
• RQ2 동기적 프레임 데이터와 이방성 스파이크 데이터는 단일 추적 프레임워크 내에서 어떻게 의미 있는 방식으로 융합될 수 있는가?
• RQ3 복잡한 추적 작업에서 하이브리드 ANN-SNN 모델을 공정하게 평가하기 위해 필요한 벤치마크 데이터셋은 무엇인가?
• RQ4 SNN은 직접적으로 시각 추적 작업에 훈련시킬 수 있으며, ANN 기반 추적기와 비교해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ5 뉴로모르픽 하드웨어에서 하이브리드 ANN-SNN 추적기는 도달 가능한 속도와 에너지 효율성은 얼마인가?

주요 결과

• Tianjic 뉴로모르픽 칩에서 DashNet은 2083.3 FPS의 기록적인 추적 속도를 기록하여 ANN 기반 모델을 크게 앞서 갔다.
• NFS-DAVIS 데이터셋에서 DashNet은 평균 AUC 점수 38.0%를 기록하여, 비교 대상 최신 기술 수준의 추적기들인 BACF(35.6%), SRDCF(32.8%), MDNet(32.9%)를 모두 초월했다.
• PRED18 데이터셋에서 DashNet은 평균 AUC 점수 37.2%를 기록하여, BACF(31.4%), DSST(30.2%), MDNet(35.5%)를 모두 앞섰다.
• SNN 전용 브랜치는 127.9 FPS/W의 전력 효율성을 달성하여, ANN 전용 브랜치(55.4 FPS/W)보다 뛰어난 에너지 효율성을 보였다.
• 뉴로모르픽 하드웨어에서 DashNet은 2083.3 FPS의 속도와 100.1 FPS/W의 전력 효율성을 동시에 확보하여, ANN과 SNN의 장점을 모두 융합한 균형 잡힌 성능을 달성했다.
• 주의 모듈과 TCF 메커니즘이 이방성 및 동기 신호 간의 동적 피드백과 시간 정렬을 가능하게 하여 추적 정확도를 크게 향상시켰다.