[논문 리뷰] Speed Invariant Time Surface for Learning to Detect Corner Points with Event-Based Cameras

Jacques Manderscheid, Amos Sironi외 3명|arXiv (Cornell University)|2019. 04. 30.

Advanced Memory and Neural Computing참고 문헌 63인용 수 2

한 줄 요약

이 논문은 이벤트 기반 카메라에서 강건한 코 검출을 위한 학습 기반 방법인 SILC(Speed Invariant Learned Corners)를 제안한다. 이는 속도에 영향을 받지 않는 시간 표면 표현을 사용하여 랜덤 포레스트 분류기를 훈련한다. 이 방법은 단일 CPU에서 최대 160만 이벤트/초의 실시간 성능를 달성하며, 기존 방법에 비해 급격한 운동 변화 상황에서 훨씬 더 높은 안정성을 보이며, 새로운 고해상도 데이터셋에서 평가한 결과 재투영 오차가 낮고, 더 긴 추적 수명을 기록한다.

ABSTRACT

We propose a learning approach to corner detection for event-based cameras that is stable even under fast and abrupt motions. Event-based cameras offer high temporal resolution, power efficiency, and high dynamic range. However, the properties of event-based data are very different compared to standard intensity images, and simple extensions of corner detection methods designed for these images do not perform well on event-based data. We first introduce an efficient way to compute a time surface that is invariant to the speed of the objects. We then show that we can train a Random Forest to recognize events generated by a moving corner from our time surface. Random Forests are also extremely efficient, and therefore a good choice to deal with the high capture frequency of event-based cameras—our implementation processes up to 1.6Mev/s on a single CPU. Thanks to our time surface formulation and this learning approach, our method is significantly more robust to abrupt changes of direction of the corners compared to previous ones. Our method also naturally assigns a confidence score for the corners, which can be useful for postprocessing. Moreover, we introduce a highresolution dataset suitable for quantitative evaluation and comparison of corner detection methods for event-based cameras. We call our approach SILC, for Speed Invariant Learned Corners, and compare it to the state-of-the-art with extensive experiments, showing better performance.

연구 동기 및 목표

• 빠르거나 급격한 운동 변화 상황에서 기존 이벤트 기반 코 검출기의 불안정성 문제를 해결하기 위해.
• 물체 속도에 영향을 받지 않는 시간 표면 표현을 개발하여 더 강건한 기능 검출을 가능하게 하기 위해.
• GPU가 필요 없이 경량이고 실시간 동작이 가능한 분류기(Random Forest)를 훈련하여 이벤트 기반 코 검출에 적용하기 위해.
• 이벤트 기반 코 검출기의 정량적 평가를 위한 고해상도, 편향이 없는 기준 데이터셋을 제공하기 위해.
• 학습된 코를 사용한 단순한 추적 기법이 동적인 고다이나믹 레인지 환경에서 복잡한 추적기보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 지역 물체 속도에 영향을 받지 않는 방식으로 이벤트 데이터를 누적하는 새로운 속도 불변 시간 표면(SITS) 공식을 제안한다.
• SITS를 입력으로 사용하여 움직이는 코에서 생성된 이벤트와 배경 또는 에지 이벤트를 구분할 수 있도록 훈련된 랜덤 포레스트 분류기를 사용한다.
• CPU 전용 추론을 최적화한 희소하고 비동기적 이벤트 처리 파이프라인을 적용하여 최대 초당 160만 이벤트의 처리 속도를 달성한다.
• 근접 이웃 추적 기법을 적용하여 시간에 따라 코의 안정성과 연속성을 평가한다.
• 이벤트 스트림 일관성에 기반한 진짜값을 제공하는 새로운 고해상도 기준 데이터셋(HVGA Corner Dataset)을 공개한다.
• 운동 패턴과 노이즈에 일반화할 수 있도록 SITS 특징을 기반으로 학습 기반 접근법을 사용하여 랜덤 포레스트를 훈련한다.

실험 결과

연구 질문

• RQ1 학습 기반 접근법이 이벤트 기반 카메라에서 빠르고 급격한 운동 변화 상황에서 코 검출의 강건성을 향상시킬 수 있는가?
• RQ2 물체 속도에 영향을 받지 않으면서도 실시간 사용에 적합한 계산 효율성을 유지할 수 있는 시간 표면 표현은 어떻게 설계할 수 있는가?
• RQ3 GPU 가속 없이도 랜덤 포레스트와 같은 경량 분류기가 이벤트 기반 코 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 학습된 코와 함께 사용할 경우 단순한 추적 기법의 성능가 기존 검출기 대비 어떻게 다를까?
• RQ5 한 이벤트 카메라에서 훈련된 검출기가 다른 센서 특성이 다른 카메라로도 잘 일반화되는가?

주요 결과

• HVGA Corner Dataset에서 25ms 시간 창을 사용할 경우 SILC는 재투영 오차가 2.45픽셀을 기록하며, 기준 Time Surface 방법의 5.79픽셀보다 유의미하게 낮다.
• SILC를 사용한 추적 기능의 평균 수명은 evFast, evHarris, Arc보다 길어, 더 안정적이고 지속적인 코 검출을 의미한다.
• Event-Camera Dataset에서 DAVIS 데이터로 재훈련한 SILC는 재투영 오차 2.16픽셀을 기록하여 evHarris(2.46), evFast(2.50), Arc(2.58)를 모두 초월한다.
• SILC는 Event-Camera Dataset에서 유효 추적률 65.3%를 유지하며, evFast(50.1%)와 evHarris(47.4%)를 모두 능가한다.
• 단일 CPU에서 최대 160만 이벤트/초를 처리하여, 저전력 임베디드 응용 분야에 적합한 실시간 성능를 입증한다.
• 감지기는 센서 간에 잘 일반화된다: ATIS에서 훈련한 모델이 DAVIS에서도 유사한 성능를 보이며, DAVIS 전용 모델은 성능을 더욱 향상시킨다.