[논문 리뷰] Matrix-LSTM: a Differentiable Recurrent Surface for Asynchronous Event-Based Data.

Marco Cannici, Marco Ciccone외 2명|arXiv (Cornell University)|2020. 01. 10.

Advanced Memory and Neural Computing참고 문헌 25인용 수 6

한 줄 요약

이 논문은 동적 시각 센서(Dynamic Vision Sensors)에서 이벤트 기반 데이터를 작업에 특화된 표현으로 재구성하는 데 사용할 수 있는 가분성 있는 순환 표면인 Matrix-LSTM을 제안한다. LSTM 셀의 격자 구조를 사용하여 이벤트를 비가역적으로 처리하며, 엔드 투 엔드 학습을 통해 MVSEC에서 광학 흐름 추정 성능을 향상시키고, N-Cars 이벤트 기반 객체 분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Dynamic Vision Sensors (DVSs) asynchronously stream events in correspondence of pixels subject to brightness changes. Differently from classic vision devices, they produce a sparse representation of the scene. Therefore, to apply standard computer vision algorithms, events need to be integrated into a frame or event-surface. This is usually attained through hand-crafted grids that reconstruct the frame using ad-hoc heuristics. In this paper, we propose Matrix-LSTM, a grid of Long Short-Term Memory (LSTM) cells that efficiently process events and learn end-to-end task-dependent event-surfaces. Compared to existing reconstruction approaches, our learned event-surface shows good flexibility and expressiveness on optical flow estimation on the MVSEC benchmark and it improves the state-of-the-art of event-based object classification on the N-Cars dataset.

연구 동기 및 목표

• 동적 시각 센서에서 이벤트 기반 데이터를 재구성하는 데 있어 수작업으로 만든 격자의 한계를 해결하기 위해.
• 하류 비전 작업에 적합한, 엔드 투 엔드로 학습 가능한 이벤트 표면을 학습하기 위해.
• 비동기 이벤트 데이터를 사용하여 광학 흐름 추정 및 객체 분류 성능을 향상시키기 위해.
• 편향 기반 프레임 통합 방식을 대체하기 위해, 가분성 있고 학습 가능한 순환 아키텍처를 도입하기 위해.

제안 방법

• Matrix-LSTM는 이벤트를 비가역적으로 처리하기 위해 LSTM 셀의 격자를 사용한다.
• 각 LSTM 셀은 자신의 국소적 공간 영역 내 이벤트를 처리하여 이벤트 간의 시간적 의존성을 포착한다.
• 엔드 투 엔드 학습을 통해 연속적이고 가분성 있는 이벤트 표면 표현을 학습한다.
• 이 아키텍처는 이벤트 통합과 하류 작업 성능의 공동 최적화를 가능하게 한다.
• 기존의 고정 격자 통합 방식을 대체하여, 학습 가능한 순환 처리 메커니즘을 구현한다.
• 광학 흐름 및 분류와 같은 하류 작업에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 순환 아키텍처가 이벤트 기반 데이터 재구성에서 수작업으로 만든 격자보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 다양한 이벤트 표면이 MVSEC 벤치마크에서 광학 흐름 추정에 얼마나 향상된 성능을 제공하는가?
• RQ3 Matrix-LSTM가 N-Cars 데이터셋에서 이벤트 기반 객체 분류에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이벤트 표면의 엔드 투 엔드 학습이 하류 작업 정확도 향상에 얼마나 기여하는가?
• RQ5 기존의 통합 방법에 비해 학습된 이벤트 표면은 얼마나 표현력 있고 유연한가?

주요 결과

• Matrix-LSTM는 N-Cars 데이터셋에서 이벤트 기반 객체 분류에서 최신 기술 수준의 성능을 달성한다.
• 학습된 이벤트 표면은 기존 방법에 비해 MVSEC 벤치마크에서 광학 흐름 추정 성능을 향상시킨다.
• 수작업으로 만든 격자 기반 통합 방식보다 더 높은 유연성과 표현력을 보인다.
• 엔드 투 엔드 학습을 통해 네트워크는 하류 성능 향상에 기여하는 작업에 특화된 표현을 학습한다.
• 가분성 있는 순환 구조는 희박하고 비동기적인 이벤트 스트림의 시간적 동역학을 효과적으로 포착한다.
• 편향 기반 통합 규칙에 대한 의존도를 줄여, 적응형이고 데이터 기반의 표면 구축을 가능하게 한다.