[논문 리뷰] Towards Anytime Optical Flow Estimation with Event Cameras

Yaozu Ye, Hao Shi외 6명|arXiv (Cornell University)|2023. 07. 11.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 이벤트 카메라를 사용한 언제라도(optical flow) 추정을 위한 딥러닝 프레임워크인 EVA-Flow를 제안한다. 통합 바이너리 격자(UNIFIED VOXEL GRID) 표현과 시공간 운동 정밀화(SPATIOTEMPORAL MOTION REFINEMENT, SMR) 모듈을 도입함으로써, EVA-Flow는 최대 200Hz에서 시간적으로 밀도가 높고, 지연이 낮은(5ms) 광학 흐름 추정을 가능하게 하며, 저해상도 프레임 속도(10Hz)의 진정값을 기반으로 훈련된 경우에도 최신 기술 수준의 정확도와 뛰어난 일반화 성능을 달성한다. 이는 MVSEC, DSEC 및 연구자들이 새로이 제작한 EVA-FlowSet 데이터셋에서 입증되었다.

ABSTRACT

Event cameras respond to changes in log-brightness at the millisecond level, making them ideal for optical flow estimation. However, existing datasets from event cameras provide only low frame rate ground truth for optical flow, limiting the research potential of event-driven optical flow. To address this challenge, we introduce a low-latency event representation, Unified Voxel Grid, and propose EVA-Flow, an EVent-based Anytime Flow estimation network to produce high-frame-rate event optical flow with only low-frame-rate optical flow ground truth for supervision. Furthermore, we propose the Rectified Flow Warp Loss (RFWL) for the unsupervised assessment of intermediate optical flow. A comprehensive variety of experiments on MVSEC, DESC, and our EVA-FlowSet demonstrates that EVA-Flow achieves competitive performance, super-low-latency (5ms), time-dense motion estimation (200Hz), and strong generalization. Our code will be available at https://github.com/Yaozhuwa/EVA-Flow.

연구 동기 및 목표

• 기존의 이벤트 기반 광학 흐름 방법이 저해상도 프레임 속도의 진정값(예: 10Hz 또는 20Hz)에 의해 제한되어 고시간 해상도 운동 추정이 어려운 점을 해결하기 위해.
• 저주파수 데이터셋으로부터의 지도 학습에도 불구하고, 임의의 시간 간격에서 밀도 높은 운동장 추정을 가능하게 하는 언제라도 광학 흐름 추정을 실현하기 위해.
• 이벤트 카메라의 고시간 해상도 및 저지연 특성을 활용해 실시간, 시간적으로 밀도 높은 운동 추정을 달성할 수 있는 네트워크 아키텍처를 설계하기 위해.
• 진정값이 없는 상황에서 중간 광학 흐름 예측을 검증할 수 있는 비지도 평가 지표인 보정된 흐름 워핑 손실(Rectified Flow Warp Loss, RFWL)을 도입하기 위해.

제안 방법

• 모든 시간 영역에서 일관된 이벤트 인코딩을 보장하는 통합 바이너리 격자 표현을 제안하여, 기존의 표준 바이너리 격자에 비해 특징 품질을 향상시킨다.
• 시간적으로 밀도 높은 광학 흐름을 예측하기 위해 시간 영역 간에 반복적으로 운동 추정을 정밀화하는 스택형 시공간 운동 정밀화(Spatiotemporal Motion Refinement, SMR) 모듈을 도입한다.
• SMR 모듈 내부에서 시간적으로 밀도 높은 특징 워핑을 활용해 중간 흐름 예측에 암묵적 지도를 제공함으로써, 공간-시간 일관성에 기반해 정확도를 향상시킨다.
• 네트워크가 고정된 지속 시간의 영역으로 이벤트 스트림을 처리하는 방식의 바이너리 단위 추론 전략을 채택하여, 예측 영역 수를 조절함으로써 출력 프레임 속도를 영리하게 조절할 수 있도록 한다.
• 진정값이 없는 경우 특히 유용한, 중간 광학 흐름 예측을 평가하기 위해 보정된 흐름 워핑 손실(Rectified Flow Warp Loss, RFWL)을 비지도 지표로 활용한다.
• 예를 들어 DSEC(10Hz)와 같이 저주파수 데이터셋에서 모델을 훈련하지만, 예측 영역 수를 늘림으로써 추론 속도를 최대 200Hz로 높일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이벤트 기반 광학 흐름 네트워크는 훈련 데이터의 진정값 프레임 속도를 초월해 시간적으로 밀도 높은 운동 추정을 달성할 수 있는가?
• RQ2 시간적으로 밀도 높은 특징 워핑에서 유도되는 암묵적 지도가 이벤트 기반 네트워크의 광학 흐름 정확도에 어떤 영향을 미치는가?
• RQ3 표준 바이너리 격자에 비해 통합 바이너리 격자 표현이 광학 흐름 추정 성능에 미치는 영향은 무엇인가?
• RQ4 진정값이 없는 상황에서 RFWL과 같은 비지도 평가 지표가 중간 광학 흐름 예측을 효과적으로 검증할 수 있는가?
• RQ5 예측 영역 수를 늘일 경우, 언제라도 광학 흐름 추정의 추론 지연, 정확도, 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• DSEC 데이터셋에서 21개의 영역를 사용할 경우, EVA-Flow는 200Hz에서 종단 오차(Endpoint Error, EPE) 0.877을 달성하여 초고주파 수준에서도 매우 높은 정확도를 확보한다.
• 모델은 단일 GPU에서 뿐만 아니라 5ms의 지연과 9.2ms의 추론 속도를 기록하여 실시간 언제라도 광학 흐름 추정을 가능하게 한다.
• 통합 바이너리 격자는 모든 영역에서 일관된 이벤트 표현을 제공함으로써 표준 바이너리 격자 대비 EPE를 7.3% 감소시킨다.
• 영역 수가 6개에서 21개로 증가함에 따라 EPE는 0.955에서 0.877로 감소하여 더 높은 시간 해상도에서 정확도 향상을 입증하지만, 31개 영역에서는 이벤트 수가 흐려지면서 약간의 성능 저하가 발생한다.
• 보정된 흐름 워핑 손실(Rectified Flow Warp Loss, RFWL)은 중간 광학 흐름 예측의 효과적인 비지도 평가를 가능하게 하여, 모델의 내부 일관성과 운동 정밀화 능력을 검증한다.
• 모델은 MVSEC, DSEC 및 새로이 도입된 EVA-FlowSet에서 경쟁력 있는 성능을 달성하며, 다양한 이벤트 빈도와 시나리오의 역동성에 대해 강력한 일반화 능력을 보인다.