[논문 리뷰] Event-Based Feature Tracking in Continuous Time with Sliding Window Optimization

Jason Chui, Simon Klenk외 1명|arXiv (Cornell University)|2021. 07. 09.

Advanced Vision and Imaging참고 문헌 14인용 수 4

한 줄 요약

이 논문은 B-spline 곡선의 슬라이딩 윈도우 최적화를 통해 연속 시간 이벤트 기반 특징 추적 방법을 제안하여 추적 정확도와 지속성을 향상시킨다. $n^{th}$-차 B-spline으로 특징 운동을 모델링하고 슬라이딩 윈도우 내에서 곡선 파라미터를 최적화함으로써, 이전 최신 기술 대비 더 길고 날카로운 특징 트랙을 달성하며, 공개 데이터셋에서 평균 수명이 최대 6% 더 길고 평균 오차가 낮아진다.

ABSTRACT

We propose a novel method for continuous-time feature tracking in event cameras. To this end, we track features by aligning events along an estimated trajectory in space-time such that the projection on the image plane results in maximally sharp event patch images. The trajectory is parameterized by $n^{th}$ order B-splines, which are continuous up to $(n-2)^{th}$ derivative. In contrast to previous work, we optimize the curve parameters in a sliding window fashion. On a public dataset we experimentally confirm that the proposed sliding-window B-spline optimization leads to longer and more accurate feature tracks than in previous work.

연구 동기 및 목표

• 짧은 간격 동안 일정한 옵티컬 플로우를 가정하는 이전 이벤트 기반 추적 방법의 한계를 해결하기 위해, 이는 조각별 선형 궤적과 정확도 저하를 초래한다.
• 공간-시간 내에서 특징 운동을 연속적인 B-spline 곡선으로 모델링하여 특징 추적의 지속성과 정밀도를 향상시키기 위해.
• B-spline의 국소적 지지 성질과 슬라이딩 윈도우 기법을 활용해 장기 특징 트랙의 효율적 최적화를 가능하게 하기 위해.
• 이벤트 빈도에 대한 의존도를 줄이기 위해, 이벤트 밀도에 따라 최적화할 컨트롤 포인트 수를 동적으로 조정하기 위해.
• 이벤트 기반 SLAM 및 영상 분석을 위한 견고한 연속 시간 기반 기초를 제공하기 위해.

제안 방법

• 공간-시간 내에서 연속적인 $n^{th}$-차 B-spline 궤적을 따라 이벤트를 정렬함으로써 특징을 추적하며, $(n-2)^{th}$ 미분까지 연속성을 확보한다.
• 이벤트를 공통 기준 시간에 투영하기 위해 SE2 워핑을 사용하여 결과적인 이벤트 패치 이미지의 선명도를 극대화한다.
• 슬라이딩 윈도우 내에서 B-spline 제어점과 키노드 위치를 최적화하며, 윈도우 크기를 이벤트 밀도에 따라 적응적으로 조정한다.
• 과거 정보를 유지하고 저이벤트 주기 동안 추적 안정성을 향상시키기 위해 히스토리 패치를 적용한다.
• 최적화에서 최근 이벤트를 우선시하기 위해 감쇠 가중치 함수 ($\rho = 0.9$)를 적용한다.
• 이벤트 수에 따라 두 개 또는 세 개의 키노드 최적화 전략을 사용한다: 고밀도일 경우 두 개, 저밀도일 경우 세 개로 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 조각별 선형 또는 일정 플로우 모델 대비 연속적인 B-spline 궤적을 사용함으로써 이브넷 카메라에서 특징 추적 정확도와 지속성을 향상시킬 수 있는가?
• RQ2 B-spline 파라미터의 슬라이딩 윈도우 최적화가 희박한 이벤트 스트림과 다양한 운동 역학에 대해 강건성을 향상시키는가?
• RQ3 B-spline의 국소적 지지 성질이 실시간 추적에서 효율적이고 확장 가능한 최적화를 가능하게 하는가?
• RQ4 히스토리 패치를 통합함으로써 저이벤트 레이트 간격에서 추적 안정성이 얼마나 향상되는가?
• RQ5 제안된 방법이 특징 연령과 추적 오차 측면에서 최신 기술 대비 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법('ours*')은 3픽셀 오차 임계값 하에 Boxes 데이터셋에서 평균 상대 연령 1.05를 기록하며, Zhu 등(0.87)과 베이스라인 'ours'(0.87)를 초월한다.
• Boxes 데이터셋에서 'ours*'는 평균 오차를 0.35로 줄였으며('ours'는 0.37, Zhu 등은 0.25), 'ours' 대비 평균 수명을 6% 증가시켰다.
• 모든 데이터셋에서 'ours*'의 평균 공통 오차는 0.35, 'ours'는 0.37로 동일한 조건에서 일관된 성능을 보이며.
• Figure 2에 나타낸 바와 같이 'ours*'의 특징 트랙은 'ours' 및 Zhu 등보다 더 오래 지속되며, 시간이 지남에 따라 활성 특징 수가 더 높게 유지된다.
• Figure 4의 정성적 결과는 'ours*'의 3D 궤적이 이전 작업에 비해 더 안정적이고 오래 지속됨을 보여주며, 특히 도전적인 운동 시퀀스에서 뚜렷하다.
• 적응형 키노드 최적화를 포함한 슬라이딩 윈도우 접근법은 저이벤트 레이트 간격에서 강건성을 크게 향상시키며, 희박 조건에서 세 개의 키노드를 사용할 경우 평균 특징 수명이 6% 증가한 것으로 확인되었다.