[논문 리뷰] Frequency Cam: Imaging Periodic Signals in Real-Time

Bernd Pfrommer|arXiv (Cornell University)|2022. 11. 01.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 이벤트 기반 카메라를 사용하여 주기적 신호의 기본 주파수를 효율적이고 실시간으로 감지하는 알고리즘인 Frequency Cam을 제안한다. 픽셀 밝기 재구성을 위해 이차 IIR 필터를 적용하고, 영점 교차점을 탐지함으로써, 1픽셀당 최대 64kHz까지 강인하고, 마이크로초 이하의 주파수 추정 성능을 달성한다. 이는 소음에 대한 내성과 정확도 면에서 기준 방법보다 뛰어나며, 특히 낙하 에지와 보간을 사용할 경우 더욱 두드러진다.

ABSTRACT

Due to their high temporal resolution and large dynamic range, event cameras are uniquely suited for the analysis of time-periodic signals in an image. In this work we present an efficient and fully asynchronous event camera algorithm for detecting the fundamental frequency at which image pixels flicker. The algorithm employs a second-order digital infinite impulse response (IIR) filter to perform an approximate per-pixel brightness reconstruction and is more robust to high-frequency noise than the baseline method we compare to. We further demonstrate that using the falling edge of the signal leads to more accurate period estimates than the rising edge, and that for certain signals interpolating the zero-level crossings can further increase accuracy. Our experiments find that the outstanding capabilities of the camera in detecting frequencies up to 64kHz for a single pixel do not carry over to full sensor imaging as readout bandwidth limitations become a serious obstacle. This suggests that a hardware implementation closer to the sensor will allow for greatly improved frequency imaging. We discuss the important design parameters for fullsensor frequency imaging and present Frequency Cam, an open-source implementation as a ROS node that can run on a single core of a laptop CPU at more than 50 million events per second. It produces results that are qualitatively very similar to those obtained from the closed source vibration analysis module in Prophesee's Metavision Toolkit. The code for Frequency Cam and a demonstration video can be found at https://github.com/ros-event-camera/frequency_cam

연구 동기 및 목표

• 이벤트 기반 카메라를 사용하여 시간 주기적 신호의 실시간, 픽셀 단위 주파수 감지를 가능하게 하되, 일반적으로 운동과 밝기 변화에 최적화되어 있는 점을 고려한다.
• 기본 방법이 단순히 이벤트 전환(예: 상승/하강 에지)에 의존하는 데에 한계가 있음을 고려해, 소음과 신호 형상의 비정상성에 더 강인한 성능을 확보하고자 한다.
• 하드웨어 제약 조건, 특히 읽기 전용 대역폭과 다이내믹 레인지에서 고려할 때, 전체 센서 주파수 영상 촬영의 가능성과 성능을 조사하고자 한다.
• 저전력 CPU에 배포 가능한 실시간 주파수 영상 촬영을 위한 오픈소스, 경량, 효율적인 구현체를 개발하고자 한다.

제안 방법

• 비동기 이벤트 스트림으로부터 근사적인 픽셀 밝기 재구성을 위해 2차 디지털 무한 임펄스 응답(IIR) 필터를 사용한다.
• 주기적 깜빡임의 주기를 추정하기 위해 재구성된 신호에서 영점 교차점을 탐지함으로써, 단조적 상승/하강 에지에 의존하는 것을 대체한다.
• 주기 검출에 하강 에지를 사용하고, 영점 교차 시간을 선형 보간하여, 상승 에지보다 주파수 추정 정확도를 향상시킨다.
• 강력한 편향 조정과 어두운 소음 필터링을 적용하여, 고다이내믹 레인지 환경에서 비정상적인 이벤트를 억제하고 신호 대 잡음비를 향상시킨다.
• 실시간 성능을 확보하기 위해 C++로 ROS 노드로 알고리즘을 구현하였으며, 단일 CPU 코어에서 5000만 건 이상의 이벤트를 초당 처리하도록 최적화하였다.
• CPU 캐시에 저장된 픽셀당 24바이트 상태(실제 21바이트, 패딩 포함 24바이트)를 사용하여 메모리 접근 지연을 최소화하였으며, 총 8MB의 상태가 L3 캐시 내에 수용된다.

실험 결과

연구 질문

• RQ1 IIR 필터링과 영점 교차 탐지 기반의 경량 비동기 알고리즘이, 소음 환경에서 단순한 에지 트리거 방법보다 주기적 신호의 기본 주파수 추정 성능을 뛰어나게 할 수 있는가?
• RQ2 이벤트 기반 주파수 영상에서 상승 에지와 하강 에지를 사용할 경우 주파수 추정 정확도에 어떤 영향을 미치는가?
• RQ3 신호 보간과 밝기 재구성은 직접 이벤트 수를 세는 것에 비해 주파수 추정 정밀도를 얼마나 향상시키는가?
• RQ4 전체 센서 주파수 영상 촬영을 확장할 경우, 주로 읽기 전용 대역폭과 렌즈 플레어 등 주요 하드웨어 제약 조건은 어떤 영향을 미치는가?
• RQ5 일반 목적 CPU에서 소프트웨어 기반으로 전체 센서 주파수 영상 촬영을 실시간으로 수행할 수 있으며, 전용 솔루션과 비교해 어떤 성능을 보이는가?

주요 결과

• IIR 필터링 방식은 1픽셀당 최대 64kHz까지 강인한 주파수 추정 성능을 제공하며, 고주파수 소음 환경에서 기준 방법보다 뚜렷이 뛰어나다.
• 주기 검출에 하강 에지를 사용할 경우, 특히 소음이나 비단조적 신호 전환 상황에서 상승 에지보다 더 정확한 주파수 추정을 가능하게 한다.
• 영점 교차 시간을 보간하면, 사각형 또는 삼각형 파형과 같은 비정현파 신호의 경우 주파수 추정 정확도가 향상된다.
• 읽기 전용 대역폭 제약이 전체 센서 주파수 영상 촬영 성능을 심각하게 제한하므로, 센서 내 하드웨어 구현이 성능 향상에 상당한 기여를 할 것으로 예상된다.
• 알고리즘은 노트북 CPU에서 5000만 건 이상의 이벤트를 초당 처리하여 실시간 동작을 달성하였으며, 결과는 Prophesee의 전용 Metavision 진동 분석 모듈과 정성적으로 일치한다.
• 고다이내믹 레인지 환경에서의 렌즈 플레어가 주파수 영상 품질을 심각하게 떨어뜨리므로, 향후 구현체에서 더 나은 다이내믹 레인지 처리가 필요하다는 점을 시사한다.