[논문 리뷰] A low-power end-to-end hybrid neuromorphic framework for surveillance applications

Andrés Ussa, Luca Della Vedova외 7명|arXiv (Cornell University)|2019. 10. 22.

Advanced Memory and Neural Computing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 IBM TrueNorth에서 프레임 기반 객체 추적과 이벤트 기반 분류를 결합한 저전력(5W) 엔드 투 엔드 하이브리드 뉴로모픽 프레임워크를 제안한다. 이벤트를 프레임으로 집계하여 강인한 추적을 수행하고, 분류에 대해 하드웨어 우수한 에너지 효율적인 딥 네트워크(EEDN) 파이프라인을 사용함으로써, 객체 분류의 트랙당 정확도는 90.2%를 달성하면서 메모리 및 계산 효율성에서 최신 기술을 능가한다.

ABSTRACT

With the success of deep learning, object recognition systems that can be deployed for real-world applications are becoming commonplace. However, inference that needs to largely take place on the `edge' (not processed on servers), is a highly computational and memory intensive workload, making it intractable for low-power mobile nodes and remote security applications. To address this challenge, this paper proposes a low-power (5W) end-to-end neuromorphic framework for object tracking and classification using event-based cameras that possess desirable properties such as low power consumption (5-14 mW) and high dynamic range (120 dB). Nonetheless, unlike traditional approaches of using event-by-event processing, this work uses a mixed frame and event approach to get energy savings with high performance. Using a frame-based region proposal method based on the density of foreground events, a hardware-friendly object tracking is implemented using the apparent object velocity while tackling occlusion scenarios. For low-power classification of the tracked objects, the event camera is interfaced to IBM TrueNorth, which is time-multiplexed to tackle up to eight instances for a traffic monitoring application. The frame-based object track input is converted back to spikes for Truenorth classification via the energy efficient deep network (EEDN) pipeline. Using originally collected datasets, we train the TrueNorth model on the hardware track outputs, instead of using ground truth object locations as commonly done, and demonstrate the efficacy of our system to handle practical surveillance scenarios. Finally, we compare the proposed methodologies to state-of-the-art event-based systems for object tracking and classification, and demonstrate the use case of our neuromorphic approach for low-power applications without sacrificing on performance.

연구 동기 및 목표

• 실시간, 저전력 객체 추적 및 분류를 원격 또는 이동식 감시 시스템에 구현하는 데 도전한다.
• 특히 동적인 환경나 저조도 환경에서 계산 비용이 높고 전력 소모가 큰 전통적인 프레임 기반 카메라의 한계를 극복한다.
• 이브넷 기반 카메라의 장점을 활용하는 하이브리드 뉴로모픽 시스템을 개발한다—저전력(5–14 mW), 높은 다이내믹 레인지(120 dB), 이방향 이벤트 생성—동시에 높은 성능을 유지한다.
• 지상 진실 데이터가 아닌 추적기 출력을 기반으로 훈련하여 IBM TrueNorth에서 엔드 투 엔드 분류를 가능하게 하여 실제 적용 가능성 향상.
• 최소한의 전력 소비로 높은 정확도를 달성하는 하드웨어 최적화 시스템을 구현하여 교통 모니터링 및 보안 응용 분야의 엣지 배포에 적합하다.

제안 방법

• 이벤트 기반 카메라를 사용해 장면 변화를 비동기적으로 캡처하여 밝기 변화가 발생할 때만 이벤트를 생성함으로써 데이터 중복과 전력 소비를 감소시킨다.
• 수신된 이벤트를 고정 간격의 프레임으로 집계하여 움직이는 객체의 공간적 표현을 생성함으로써 프레임 기반 영역 제안을 위해 배경 이벤트 밀도를 활용한다.
• 실제 객체 속도 추정을 통해 음영 발생 시에도 추적을 유지할 수 있는 하드웨어 우수한 객체 추적기를 구현하며, 영역 제안은 이벤트 밀도 지도에서 유도된다.
• 추적된 객체의 프레임 표현을 EEDN 파이프라인을 사용해 스파ike 트레인으로 변환하여 IBM TrueNorth에서 효율적인 분류를 수행한다.
• TrueNorth 칩을 시간 분할하여 동시에 최대 8개의 객체를 분류할 수 있도록 하며, 사전 처리 뉴런은 객체 수에 따라 선형적으로 확장된다.
• 지상 진실 데이터가 아닌 추적기 출력을 기반으로 TrueNorth 모델을 훈련시켜 실제 환경에서의 강인성을 향상시키고 수동 애너테이션에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 하이브리드 프레임-이벤트 처리 방식은 뉴로모픽 감시 시스템에서 저전력 소비를 유지하면서도 높은 추적 정확도를 달성할 수 있는가?
• RQ2 지상 진실 대신 추적기에서 생성한 출력을 사용해 분류 모델을 훈련할 경우 실제 환경 배포에서 성능에 어떤 영향을 미치는가?
• RQ3 IBM TrueNorth는 최소한의 하드웨어 오버헤드로 실시간으로 다수의 객체를 효율적으로 시간 분할하여 분류할 수 있는가?
• RQ4 정확도, 메모리 사용량, 계산 효율성 측면에서 제안된 시스템은 최신 기술의 이벤트 기반 추적 및 분류 방법과 어떻게 비교되는가?
• RQ5 FPGA 기반 하드웨어 구현에서 유한 정밀도 산술 연산이 추적기 성능과 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 사람의 트랙을 포함한 경우 IoU 임계값 0.4에서 정밀도 0.48, 재현율 0.52를 달성하였으며, 사람을 제외한 경우 정밀도 0.58, 재현율 0.84로 향상되었다.
• 유한 정밀도로 인한 5%의 정확도 저하에도 불구하고, 메모리 사용량이 7배 적고 계산 횟수가 3배 적은 다중 객체 EBMS 추적기 [Delbruck and Lang, 2013]를 능가하였다.
• 지상 진실 데이터로 훈련된 DART 프레임워크의 95.4% 대비, 추적기 출력으로 훈련된 TrueNorth 기반 분류는 트랙당 90.2%의 정확도를 달성하여 실제 적용 가능성의 강력한 증거를 제시하였다.
• 전체 시스템의 전력 소비는 단지 5W이며, 기존 GPU 대비 40배, 최신 프레임 기반 임베디드 시스템 대비 4배의 전력 절감을 이룬다.
• 이벤트 집계 프레임 기반의 속도 기반 추적을 통해 음영 상황을 효과적으로 처리하며, 일관된 객체 정체성을 유지한다.
• 비디오 데모는 추적기가 지상 진실 애너테이션보다 약간 앞서거나 뒤지더라도 객체를 정확히 분류함을 확인하여 추적 드리프트에 대한 강건성을 입증한다.