[논문 리뷰] Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation

Ziluo Ding, Rui Zhao외 5명|arXiv (Cornell University)|2021. 09. 10.

Advanced Memory and Neural Computing인용 수 9

한 줄 요약

이 논문은 이벤트 스트림에서 동적 공간-시간 특징을 추출하기 위해 컨volutional 게이트드 순환 단위(ConfGRU)를 활용하는 공간-시간 순환 인코더-디코더 네트워크인 STE-FlowNet을 제안한다. 또한 신호 강화를 위해 새로운 시간 분포 기반 입력 표현 방식을 도입한다. 이 방법은 순환 아키텍처 내에서 상관층과 반복적 잔차 보정을 효과적으로 통합함으로써 MVSEC 데이터셋에서 기존 최고 성능 기술들보다 뛰어난 성능을 내며, 특히 고속 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

Event camera has offered promising alternative for visual perception, especially in high speed and high dynamic range scenes. Recently, many deep learning methods have shown great success in providing promising solutions to many event-based problems, such as optical flow estimation. However, existing deep learning methods did not address the importance of temporal information well from the perspective of architecture design and cannot effectively extract spatio-temporal features. Another line of research that utilizes Spiking Neural Network suffers from training issues for deeper architecture.To address these points, a novel input representation is proposed that captures the events' temporal distribution for signal enhancement. Moreover, we introduce a spatio-temporal recurrent encoding-decoding neural network architecture for event-based optical flow estimation, which utilizes Convolutional Gated Recurrent Units to extract feature maps from a series of event images. Besides, our architecture allows some traditional frame-based core modules, such as correlation layer and iterative residual refine scheme, to be incorporated. The network is end-to-end trained with self-supervised learning on the Multi-Vehicle Stereo Event Camera dataset. We have shown that it outperforms all the existing state-of-the-art methods by a large margin. The code link is https://github.com/ruizhao26/STE-FlowNet.

연구 동기 및 목표

• 기존 딥 러닝 방법들이 아키텍처 설계의 열악함으로 인해 이벤트 데이터의 시간적 동역학을 포착하는 데 한계를 가짐을 해결하기 위해.
• 이벤트의 시간 분포를 모델링하여 고속 및 노이지 시나리오에서 이벤트 신호 품질을 향상시키기 위해.
• 이브넷 기반 광학 흐름 추정에 프레임 기반 구성 요소(예: 상관층, 반복적 잔차 보정)의 통합을 가능하게 하기 위해.
• 순환 처리를 활용하여 엔드 투 엔드 훈련이 가능하고, 자율 학습 기반의 프레임워크를 개발하기 위해.
• 다양한 실내 및 실외 이벤트 기반 시나리오에 걸쳐 뛰어난 일반화 성능을 입증하기 위해.

제안 방법

• 고속 운동 기간 동안의 신호 품질을 향상시키기 위해 이벤트의 시간 분포를 기반으로 누적된 새로운 입력 표현 방식을 제안한다.
• 이벤트 이미지를 시간 순서대로 프레임 단위로 처리할 수 있도록, ConvGRU 단위를 사용한 공간-시간 순환 인코더-디코더 네트워크(Ste-FlowNet)를 설계한다.
• 이벤트 이미지를 시간 순서로 프레임 단위로 처리하여 중간 광학 흐름 예측 결과가 이후 추정에 영향을 주도록 한다.
• 이전에 이브넷 기반 네트워크에 적용되지 않았던 상관층을, 입력을 연결하는 대신 순차적 이벤트 이미지를 처리함으로써 구현한다.
• 중간 흐름 추정치를 사용하여 점진적으로 광학 흐름 예측치를 개선하는 반복적 잔차 보정(Implicit Residual Refinement, IRR) 기법을 도입한다.
• 시간 단계에 걸쳐 다중 중간 지도 신호를 활용하여 훈련 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 순환 아키텍처가 이브넷 기반 광학 흐름 추정에서 공간-시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 시간 분포 기반 입력 표현 방식이 고속 시나리오에서 신호 품질과 광학 흐름 추정 정확도를 향상시키는가?
• RQ3 기존의 프레임 기반 구성 요소인 상관층이 이브넷 기반 광학 흐름 네트워크에 성공적으로 적응될 수 있는가?
• RQ4 반복적 잔차 보정이 이브넷 기반 환경에서 광학 흐름 추정 성능을 어느 정도 향상시키는가?
• RQ5 시간 단계에 걸쳐 중간 지도 신호를 통합할 경우 모델 성능에 어떤 영향을 미치는가?

주요 결과

• STE-FlowNet은 MVSEC 데이터셋에서 모든 기존 최고 성능 기술보다 뛰어난 성능을 보이며, 특히 dt=4의 경우에서 다양한 시나리오에 걸쳐 뛰어난 일반화 성능을 입증한다.
• 제안된 시간 분포 기반 입력 표현 방식은 간단한 이벤트 수세기나 시간 표면 표현 방식에 비해 신호 품질과 광학 흐름 추정 정확도를 크게 향상시킨다.
• 절단 실험 결과, ConvGRU, 상관층, 반복적 잔차 보정 기법 각각이 성능 향상에 기여하며, 전체 모델이 최고의 성능을 기록함을 확인한다.
• 이브넷 기반 네트워크에 상관층을 통합하는 것은 효과적이며 유익하며, 직접 흐름 연결 방식 대비 성능 향상을 입증한다.
• 시간 단계에 걸쳐 다중 중간 손실(Multiple Intermediate Losses, MIL)을 적용하면 성능이 더욱 향상되며, 순환 지도 신호의 가치를 확인한다.
• 정성적 결과 분석에서 STE-FlowNet은 특히 희박하고 동적인 시나리오에서 스파이크-플로우넷보다 가장자리 영역에서 더 정확한 흐름 예측과 더 나은 지정된 참값과의 정렬을 보였다.