[논문 리뷰] FA-Harris: A Fast and Asynchronous Corner Detector for Event Cameras

Ruoxiang Li, Dianxi Shi외 3명|arXiv (Cornell University)|2019. 06. 26.

Advanced Memory and Neural Computing참고 문헌 26인용 수 4

한 줄 요약

이 논문은 이벤트 카메라에서 원시 이벤트 스트림에 직접 작동하는 빠르고 비동기적인 코너 검출기인 FA-Harris를 제안한다. 이는 이벤트 프레임을 합성하지 않는다. 실시간 성능을 위해 글로벌 활성 이벤트 표면(G-SAE) 유지 모듈과 코너 후보 선택 메커니즘을 활용하며, 정교화된 하리스 기반 방법을 통해 높은 정확도를 확보하여 공개 데이터셋에서 이전의 이벤트 기반 하리스 검출기 대비 약 8배의 속도 향상을 이룬다. 정확도 손실 없이도 성능을 달성한다.

ABSTRACT

Recently, the emerging bio-inspired event cameras have demonstrated potentials for a wide range of robotic applications in dynamic environments. In this paper, we propose a novel fast and asynchronous event-based corner detection method which is called FA-Harris. FA-Harris consists of several components, including an event filter, a Global Surface of Active Events (G-SAE) maintaining unit, a corner candidate selecting unit, and a corner candidate refining unit. The proposed G-SAE maintenance algorithm and corner candidate selection algorithm greatly enhance the real-time performance for corner detection, while the corner candidate refinement algorithm maintains the accuracy of performance by using an improved event-based Harris detector. Additionally, FA-Harris does not require artificially synthesized event-frames and can operate on asynchronous events directly. We implement the proposed method in C++ and evaluate it on public Event Camera Datasets. The results show that our method achieves approximately 8x speed-up when compared with previously reported event-based Harris detector, and with no compromise on the accuracy of performance.

연구 동기 및 목표

• 이벤트 카메라에서 비동기 이벤트 스트림에 직접 작용하는 효율적이고 진정으로 비동기적인 코너 검출 방법의 부족을 해결하기 위해.
• 인위적으로 합성된 이벤트 프레임에 의존하는 프레임 기반 접근 방식의 한계를 극복하기 위해. 이러한 접근 방식은 비동기성을 훼손하고 지연을 유발한다.
• 고속으로 이벤트를 처리하면서도 높은 정확도를 유지하는 실시간 코너 검출 파이프라인을 설계하기 위해.
• 이벤트 카메라를 사용한 SLAM 및 시각적 오도메트리에서 고속도 및 고다이나믹 레인지 환경에서도 강력한 기능 추출을 가능하게 하기 위해.

제안 방법

• 이벤트 스트림을 이벤트 필터를 통해 처리하여 노이즈를 제거하고 데이터 양을 줄인다.
• 스패티오테임포럴 이벤트 활동을 표현하기 위해 실시간으로 글로벌 활성 이벤트 표면(G-SAE)을 유지한다. 이는 효율적인 계산을 가능하게 한다.
• 코너 후보 선택 유닛은 국소 G-SAE 곡률과 기울기 변화를 기반으로 잠재적 코너를 식별하며, 높은 반응 영역을 우선순위로 한다.
• 코너 후보 정밀화 유닛은 G-SAE 상의 국소 강도 변화를 사용하여 개선된 이벤트 기반 하리스 검출기를 적용해 각 후보를 점수 매기고 검증한다.
• 전체 파이프라인은 C++로 구현되었으며, 강도 프레임이나 프레임 합성 없이 이벤트 스트림에 직접 작동한다.
• 저지연 처리를 위해 최적화되었으며, 계산 성능은 이벤트당 처리 시간과 최대 이벤트 레이트(Meps)로 측정된다.

실험 결과

연구 질문

• RQ1 이벤트 합성 없이 비동기 이벤트 스트림에 직접 작용하는 코너 검출 방법을 설계할 수 있는가?
• RQ2 정확도를 유지하면서도 이벤트 기반 코너 검출에서 실시간 성능를 달성할 수 있는가?
• RQ3 G-SAE 기반 처리가 이벤트 카메라의 코너 검출 성능과 정확도에 미치는 영향은 무엇인가?
• RQ4 기존의 이벤트 기반 코너 검출기와 비교할 때, 제안된 방법은 속도, 정확도, 거짓 양성률 측면에서 어떻게 다른가?

주요 결과

• FA-Harris는 이전에 보고된 eHarris* 검출기 대비 약 8배의 속도 향상을 기록했으며, 이벤트당 처리 시간은 0.66 μs, 최대 이벤트 레이트는 1.54 Meps였다.
• 높은 정확도를 유지하여 모든 시나리오에서 가중 평균 정확도 50.88%를 달성했으며, eHarris*(50.56%)와 G-eHarris*(50.57%)를 모두 초월했다.
• FA-Harris는 다른 방법보다 낮은 거짓 양성률(FPR)을 기록했으며, 전체 데이터셋에서 FPR이 2.58로, 코너 검출의 정밀도가 높음을 시사한다.
• 동적이고 고속도 환경에서도 강건함을 입증했으며, '다이내믹' 시나리오에서는 FPR이 3.28%, '박스' 시나리오에서는 1.61%를 기록했다.
• Arc* 방법보다 5배 느리지만, 훨씬 높은 정확도와 낮은 FPR을 확보하여 속도와 정밀도 사이의 유리한 트레이드오프를 보였다.
• 평가 결과, FA-Harris가 이벤트 합성 없이 비동기 이벤트에 직접 작용함을 확인했으며, 이벤트 카메라의 본질적 비동기성을 유지함을 입증했다.