[논문 리뷰] Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks

Jesse J. Hagenaars, Federico Paredes-Vallés외 1명|arXiv (Cornell University)|2021. 06. 03.

Advanced Memory and Neural Computing인용 수 62

한 줄 요약

이 논문은 자기지도 학습 프레임워크를 통해 Dense 이벤트 기반 광류 추정을 위한 심층 스파이킹 신경망(SNNs)을 훈련시키고, 최첨단 ANN 방법과 동등한 성능을 달성하는 한편 surrogate gradients 및 adaptive spiking 메커니즘을 탐구합니다.

ABSTRACT

The field of neuromorphic computing promises extremely low-power and low-latency sensing and processing. Challenges in transferring learning algorithms from traditional artificial neural networks (ANNs) to spiking neural networks (SNNs) have so far prevented their application to large-scale, complex regression tasks. Furthermore, realizing a truly asynchronous and fully neuromorphic pipeline that maximally attains the abovementioned benefits involves rethinking the way in which this pipeline takes in and accumulates information. In the case of perception, spikes would be passed as-is and one-by-one between an event camera and an SNN, meaning all temporal integration of information must happen inside the network. In this article, we tackle these two problems. We focus on the complex task of learning to estimate optical flow from event-based camera inputs in a self-supervised manner, and modify the state-of-the-art ANN training pipeline to encode minimal temporal information in its inputs. Moreover, we reformulate the self-supervised loss function for event-based optical flow to improve its convexity. We perform experiments with various types of recurrent ANNs and SNNs using the proposed pipeline. Concerning SNNs, we investigate the effects of elements such as parameter initialization and optimization, surrogate gradient shape, and adaptive neuronal mechanisms. We find that initialization and surrogate gradient width play a crucial part in enabling learning with sparse inputs, while the inclusion of adaptivity and learnable neuronal parameters can improve performance. We show that the performance of the proposed ANNs and SNNs are on par with that of the current state-of-the-art ANNs trained in a self-supervised manner.

연구 동기 및 목표

• 이벤트 기반 광류를 위한 심층 SNNs를 이용한 자기지도 학습(SSL) 프레임워크를 입증한다.
• 입력 표현을 재구성하여 입력의 시간 정보를 최소화하고, 완전 비동기형 신경처리에 정렬되도록 한다.
• 뉴런 모델, 초기화, surrogate gradients, 적응 메커니즘이 희박한 이벤트 데이터에서 학습에 미치는 영향을 조사한다.
• 표준 이벤트 기반 광류 벤치마크에서 딥 SNN이 최첨단 SSL 성능에 도달할 수 있는지 평가한다.

제안 방법

• 입력을 작은 비중첩 파티션들에 걸쳐 픽셀별, 극성별 이벤트 카운트로 표현하여 입력의 시간 정보를 최소화한다.
• 모션 보정에 대한 재구성된 contrast maximization SSL 손실을 사용하여 볼록성 향상 및 이벤트의 backward/forward warping을 지원한다.
• 희박한 이벤트에 대해 역전파를 가능하게 하는 입력 학습 파티션 버퍼를 정의하고 흐름 추정의 시간적 평활화를 수행한다.
• 다양한 적응 메커니즘과 함께 여러 스파이킹 뉴런 모델(LIF, ALIF, PLIF, XLIF)을 대조하고 surrogate gradients(aTan prime) 및 에너지 인식 고려를 사용한다.
• ConvGRU 기반의 순환 아키텍처(EV-FlowNet 및 FireNet 변형)를 SNN에 맞게 Adapt하고, 학습된 TanH 디코더를 사용해 Dense 광류 맵을 출력한다.
• MVSEC 및 기타 이벤트 데이터 세트에서 학습 및 평가를 수행하고, 초기화, surrogate gradient 너비, 적응 스킴에 대한 ablation을 수행한다.

실험 결과

연구 질문

• RQ1 깊은 SNN이 SSL로 학습되어 입력의 시간적 인코딩 없이 이벤트 스트림으로 픽셀별 광류를 추정할 수 있는가?
• RQ2 스파이킹 뉴런 적응(ALIF, PLIF, XLIF) 및 surrogate gradient 선택이 희박한 이벤트 데이터에서 Dense 회귀의 학습 및 정확도에 어떤 영향을 미치는가?
• RQ3 손실의 볼록성을 개선하고 학습 시 시간 버퍼를 사용하는 것이 딥 SNN에서 Optical Flow에 대한 효과적인 학습을 가능하게 하는가?
• RQ4 재귀적 SNN 아키텍처가 표준 데이터셋에서 자기지도 이벤트 기반 광류 작업에서 재귀적 ANN과 어떻게 비교되는가?

주요 결과

• 제안된 SSL 파이프라인은.self-supervised 이벤트 기반 광류 작업에서 SNN이 최첨단 ANN SSL 방법과 경쟁력 있는 정확도를 달성하도록 한다.
• 희박한 입력에서 학습에 초기화 및 surrogate gradient 너비가 결정적으로 영향을 미친다; 부적절한 설정은 학습이나 수렴을 방해할 수 있다.
• Presynaptic 적응 메커니즘(PLIF/XLIF)은 일반적으로 postsynaptic 적응(ALIF)보다 빠르게 변화하는 이벤트 데이터에 대해 더 잘 작동하거나 비교적 우수하며, XLIF가 견고한 그래디언트 흐름을 제공한다.
• ConvGRU 및 스파이킹 층이 있는 SNN 변종은 재귀 없는 ANN에 근접한 성능을 보여 주며, 이 작업을 위한 완전한 뉴로모픽, 비동기 파이프라인의 가능성을 시사한다.
• SNN에서의 명시적 재귀는 이벤트 스트림에서 광류와 같은 밀집 회귀 작업에서 ANN 베이스라인과의 격차를 줄이는 데 필수적이다.
• 본 연구는 자기지도 설정에서 실제 세계의 대규모 이벤트 기반 광류 문제를 해결하기 위해 딥 SNN의 첫 번째 세트를 훈련시키는 가능성을 입증한다.