[논문 리뷰] Real-time Classification from Short Event-Camera Streams using Input-filtering Neural ODEs

Giorgio Giannone, Asha Anoosheh외 4명|arXiv (Cornell University)|2020. 04. 07.

Advanced Memory and Neural Computing참고 문헌 31인용 수 8

한 줄 요약

이 논문은 DVS 카메라에서 유입되는 이벤트 스트림을 사전 처리나 이벤트 통합 없이 직접 처리할 수 있는 연속시간 순환 아키텍처인 입력 필터링 신경 미분방정식(INODE)을 제안한다. INODE는 짧은 이벤트 분류 작업에서 LSTM 기준선보다 뛰어난 성능을 보이며, 특히 데이터가 적은 환경에서 뛰어난 샘플 효율성과 실시간 추론 능력을 입증한다. 이는 미분방정식 기반의 은닉 상태 진화를 통해 정밀한 시간 정보를 활용함으로써 달성된다.

ABSTRACT

Event-based cameras are novel, efficient sensors inspired by the human vision system, generating an asynchronous, pixel-wise stream of data. Learning from such data is generally performed through heavy preprocessing and event integration into images. This requires buffering of possibly long sequences and can limit the response time of the inference system. In this work, we instead propose to directly use events from a DVS camera, a stream of intensity changes and their spatial coordinates. This sequence is used as the input for a novel \emph{asynchronous} RNN-like architecture, the Input-filtering Neural ODEs (INODE). This is inspired by the dynamical systems and filtering literature. INODE is an extension of Neural ODEs (NODE) that allows for input signals to be continuously fed to the network, like in filtering. The approach naturally handles batches of time series with irregular time-stamps by implementing a batch forward Euler solver. INODE is trained like a standard RNN, it learns to discriminate short event sequences and to perform event-by-event online inference. We demonstrate our approach on a series of classification tasks, comparing against a set of LSTM baselines. We show that, independently of the camera resolution, INODE can outperform the baselines by a large margin on the ASL task and it's on par with a much larger LSTM for the NCALTECH task. Finally, we show that INODE is accurate even when provided with very few events.

연구 동기 및 목표

• 동적 시각 센서(DVS)가 생성하는 고주파 비동기 이벤트 스트림으로부터 실시간, 저지연 분류 문제를 해결하기 위해.
• 이벤트 통합 또는 이미지로의 분할을 제거함으로써 시간 정밀도를 훼손하고 지연을 증가시키는 문제를 해결하기 위해.
• 불규칙한 시간 간격의 이벤트 입력을 자연스럽게 처리할 수 있는 연속시간 학습 프레임워크를 개발하기 위해.
• 최소한의 계산 오버헤드와 높은 샘플 효율성을 확보하면서도, 온라인으로 이벤트 단위로 추론을 수행할 수 있도록 하기 위해.

제안 방법

• INODE는 신경 미분방정식(NODEs)을 확장하여, 은닉 상태 동역학에 연속적이고 비동기적인 입력 신호—특히 이벤트 극성과 공간 좌표—를 허용한다.
• 불규칙한 간격의 이벤트 타임스탬프를 처리하기 위해 배치화된 전진 오일러 해법을 사용하여 효율적이고 안정적인 학습 및 추론을 가능하게 한다.
• 은닉 상태는 학습된 미분방정식에 따라 진화한다: dh/dt = f(h, t, x(t)), 여기서 x(t)는 도착하는 이벤트 스트림을 나타낸다.
• 컨볼루션 계층이나 시간 이산화 없이도 이벤트가 직접 ODE 시스템에 입력되어 원시적인 이벤트 타이밍이 유지된다.
• 표준 시간을 거꾸로 전파하는 backpropagation를 사용하여 엔드 투 엔드로 학습되며, 인접 감도 방법을 통해 기울기가 계산된다.
• 아키텍처는 온라인 추론을 지원한다: 새로운 이벤트가 도착할 때마다 예측이 실시간으로 갱신되어 저지연 의사결정이 가능하다.

실험 결과

연구 질문

• RQ1 사전 처리나 이벤트 통합 없이도, 연속시간 신경망 아키텍처가 DVS 카메라에서 유입되는 짧은 이벤트 시퀀스를 효과적으로 분류할 수 있는가?
• RQ2 이벤트가 매우 적을 경우(INODE의 성능이 특히 중요한 상황), INODE는 표준 RNN인 LSTM과 비교해 정확도와 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ3 INODE는 이벤트 스트림의 정밀한 시간 정보를 얼마나 잘 활용하는가? 이는 도전적인 저데이터 분류 과제에서 성능에 어떤 영향을 미치는가?
• RQ4 INODE는 카메라 해상도와 이벤트 주파수의 변동에 대해 강건한가? 다양한 하드웨어 환경에서의 구현 가능성을 보장하는가?

주요 결과

• INODE는 ASL 데이터셋에서 모든 LSTM 기준선보다 뚜렷이 뛰어난 성능을 보이며, 훈련 데이터의 20%만 사용하고도 20개의 추론 이벤트로도 높은 정확도를 달성한다.
• NCALTECH 데이터셋에서는 128개의 은닉 유닛을 가진 더 큰 LSTM 모델(bi-LSTM)과 동등한 성능을 내지만, 은닉 유닛 수는 30개에 불과하다.
• INODE는 극히 적은 데이터로도 높은 성능를 유지하며, 데이터 복잡도가 증가하거나 훈련 데이터가 감소할수록 성능 향상 폭이 미미하여 강력한 샘플 효율성을 보여준다.
• 매우 적은 이벤트로도 정확한 온라인 분류를 수행하며, 시퀀스당 20개의 이벤트에서도 잘 작동하여 실시간, 저지연 응용에 적합하다.
• INODE는 카메라 해상도에 영향을 받지 않으며, 사전 처리나 분할 없이도 원시적이고 노이즈가 많은 이벤트 스트림을 직접 처리할 수 있다.
• 제거 실험 결과, 연속시간 모델링을 통해 정밀한 이벤트 타이밍을 유지하는 것이 핵심임을 확인하였으며, 이벤트 타이밍이 이산화되거나 손실될 경우 INODE의 성능이 크게 저하됨을 입증하였다.