[논문 리뷰] Dense Continuous-Time Optical Flow from Events and Frames

Mathias Gehrig, Manasi Muglikar외 1명|arXiv (Cornell University)|2022. 03. 25.

Neural dynamics and brain function인용 수 7

한 줄 요약

이 논문은 픽셀 궤적을 매개변수화된 Bézier 곡선으로 모델링하여 이벤트 카메라 데이터로부터 조밀하고 연속적인 시간 영역의 광학 흐름을 추정하는 새로운 미분 가능한 신경망을 제안한다. 다중 시간적 상관관계 볼륨과 반복적인 Bézier 곡선 정밀화를 활용함으로써, 이 방법은 연속 궤적 예측 및 전통적인 이중 프레임 광학 흐름 벤치마크에서 최신 기술 수준의 성능을 달성하며, 합성 데이터에서는 최대 67%까지 종단점 오차를 감소시키고, 실세계 데이터에서는 14.5% 감소시킨다.

ABSTRACT

We present a method for estimating dense continuous-time optical flow from event data. Traditional dense optical flow methods compute the pixel displacement between two images. Due to missing information, these approaches cannot recover the pixel trajectories in the blind time between two images. In this work, we show that it is possible to compute per-pixel, continuous-time optical flow using events from an event camera. Events provide temporally fine-grained information about movement in pixel space due to their asynchronous nature and microsecond response time. We leverage these benefits to predict pixel trajectories densely in continuous time via parameterized Bézier curves. To achieve this, we build a neural network with strong inductive biases for this task: First, we build multiple sequential correlation volumes in time using event data. Second, we use Bézier curves to index these correlation volumes at multiple timestamps along the trajectory. Third, we use the retrieved correlation to update the Bézier curve representations iteratively. Our method can optionally include image pairs to boost performance further. To the best of our knowledge, our model is the first method that can regress dense pixel trajectories from event data. To train and evaluate our model, we introduce a synthetic dataset (MultiFlow) that features moving objects and ground truth trajectories for every pixel. Our quantitative experiments not only suggest that our method successfully predicts pixel trajectories in continuous time but also that it is competitive in the traditional two-view pixel displacement metric on MultiFlow and DSEC-Flow. Open source code and datasets are released to the public.

연구 동기 및 목표

• 기존 광학 흐름 방법이 프레임 간의 이산적 픽셀 이동만 계산하여 프레임 간 빛의 공백 시간 동안의 운동을 놓치는 한계를 해결하기 위해.
• 이벤트 카메라의 이질적이고 고시간 해상도의 특성을 활용하여 이산적 이동이 아닌 조밀하고 연속적인 픽셀 궤적을 추정하기 위해.
• RAFT와 E-RAFT를 일반화하는 미분 가능한 딥 러닝 모델을 개발하여, 각 픽셀의 운동 모델링을 위해 Bézier 곡선의 제어점을 회귀함으로써.
• 학습 및 평가를 위해 조밀한 진짜 픽셀 궤적을 제공하는 새로운 합성 데이터셋 MultiFlow를 제안하기 위해.
• 이벤트 데이터와 이미지 쌍을 조합함으로써 단일 모odal 접근법보다 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 이 방법은 강한 인도크티브 바이어스를 가진 신경망을 사용한다: 이는 이벤트 데이터에서 시간에 따라 순차적으로 상관관계 볼륨을 구성하여 시공간 운동 특징을 캡처한다.
• 픽셀 궤적은 Bézier 곡선으로 매개변수화되어, 임의의 타임스탬프에서 픽셀 위치의 연속적인 시간 예측이 가능해진다.
• Bézier 곡선의 제어점은 궤적의 보간된 시간 지점에서 다중 시간적 상관관계 볼륨에서 상관관계 특징을 검색함으로써 반복적으로 업데이트된다.
• 모델은 순수 이벤트 기반 추론과 이미지 쌍과의 융합을 모두 지원하여 성능 향상을 도모한다.
• Bézier 곡선을 통한 비선형 궤적 모델링과 다중 시간적 상관관계 검색을 가능하게 함으로써, RAFT와 E-RAFT를 일반화한다.
• 분해능과 계산 비용의 균형을 위해 조정 가능한 시간 박스 크기를 가진 볼록 격자 표현을 사용한다.

실험 결과

연구 질문

• RQ1 이미지 기반 입력에 의존하지 않고, 이벤트 데이터만으로도 조밀한 연속 시간 광학 흐름을 정확하게 추정할 수 있는가?
• RQ2 기존의 이산적 이동 예측과 비교해, 픽셀 궤적을 Bézier 곡선으로 모델링하는 것이 운동 추정 정확도를 향상시키는가?
• RQ3 시간적 상관관계 검색의 수가 연속 궤적 추정 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 실세계 데이터에 일반화되어 있으며, 궤적 및 이중시점 광학 흐름 메트릭 모두에서 기존 최신 기술 수준의 방법을 초월하는가?
• RQ5 이벤트 데이터와 함께 이미지 데이터를 통합할 경우 성능 향상 정도는 어느 정도인가?

주요 결과

• 기본 모델이 이산적 이동만 예측하는 것에 비해, 합성 MultiFlow 데이터셋에서 종단점 오차(EPE)가 약 67% 감소하였다.
• 상관관계 검색 횟수를 1에서 5로 늘임으로써 궤적 종단점 오차(TEPE)가 1.81에서 1.29로 감소하여, 다중 시간적 특징 검색의 이점이 입증되었다.
• 볼록 격자 표현에서 더 미세한 시간 박스 크기(0.0125 s)를 사용할 경우 성능 향상이 있었으며, TEPE는 시간 박스 크기 0.1일 때 1.81에서 0.0125일 때 1.29로 감소하였다.
• 실세계 DSEC-Flow 벤치마크에서, 이전 최신 기술 수준의 이벤트 기반 방법 대비 종단점 오차가 14.5% 감소하였다.
• 기존의 이중시점 광학 흐름 메트릭에서도 경쟁 가능한 성능을 달성하였으며, MultiFlow에서 AE와 EPE 값은 각각 3.19와 2.27이었다.
• 입력에 이미지 데이터를 포함시킴으로써 성능 향상이 더욱 향상되었으며, E+I 입력 조합이 이벤트 전용 추론보다 더 낮은 오차를 기록하였다.