[論文レビュー] Frequency Cam: Imaging Periodic Signals in Real-Time

Bernd Pfrommer|arXiv (Cornell University)|Nov 1, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿では、イベントベースカメラを用いた周期的信号の基本周波数を効率的かつリアルタイムに検出するためのアルゴリズム「Frequency Cam」を提案する。ピクセル輝度の再構築に2次IIRフィルタを適用し、ゼロレベルクロスイングを検出することで、1ピクセルあたり最大64kHzまで、サブマイクロ秒レベルの精度でロバストな周波数推定が可能となり、ノイズ耐性および精度においてベースライン手法を上回る。特に、降下エッジと補間を用いることで性能が向上する。

ABSTRACT

Due to their high temporal resolution and large dynamic range, event cameras are uniquely suited for the analysis of time-periodic signals in an image. In this work we present an efficient and fully asynchronous event camera algorithm for detecting the fundamental frequency at which image pixels flicker. The algorithm employs a second-order digital infinite impulse response (IIR) filter to perform an approximate per-pixel brightness reconstruction and is more robust to high-frequency noise than the baseline method we compare to. We further demonstrate that using the falling edge of the signal leads to more accurate period estimates than the rising edge, and that for certain signals interpolating the zero-level crossings can further increase accuracy. Our experiments find that the outstanding capabilities of the camera in detecting frequencies up to 64kHz for a single pixel do not carry over to full sensor imaging as readout bandwidth limitations become a serious obstacle. This suggests that a hardware implementation closer to the sensor will allow for greatly improved frequency imaging. We discuss the important design parameters for fullsensor frequency imaging and present Frequency Cam, an open-source implementation as a ROS node that can run on a single core of a laptop CPU at more than 50 million events per second. It produces results that are qualitatively very similar to those obtained from the closed source vibration analysis module in Prophesee's Metavision Toolkit. The code for Frequency Cam and a demonstration video can be found at https://github.com/ros-event-camera/frequency_cam

研究の動機と目的

• イベントカメラは通常、運動や輝度変化に最適化されているが、そのようなカメラを用いて時間周期的信号のリアルタイムでピクセル単位の周波数検出を可能にすること。
• 単一のイベント遷移（例：立ち上がり／降下エッジ）に依存するベースライン手法の限界を克服し、ノイズや信号波形の不規則性に対してよりロバストな性能を実現すること。
• ハードウェア制約、特にリードアウト帯域幅とダイナミックレンジを考慮した場合に、フルセンサ周波数イメージングの実現可能性と性能を調査すること。
• 低消費電力CPU上で実行可能なオープンソースで軽量かつ効率的な実装を開発し、ロボット工学やビジョン応用分野におけるリアルタイム周波数イメージングを可能にすること。

提案手法

• 非同期イベントストリームからピクセル単位の輝度再構築を近似的に行うために、2次デジタル無限インパルス応答（IIR）フィルタを用いる。
• 周期的フレアッシングの周期を推定するために、再構築信号内のゼロレベルクロスイングを検出することで、単調な立ち上がり／降下エッジに依存するのを回避する。
• 周波数推定の精度を向上させるために、ゼロクロスイング時刻の線形補間と降下エッジ遷移を用いる。
• 過剰なバイアスチューニングとダークノイズフィルタリングを適用し、高ダイナミックレンジシーンにおける誤検出を抑制し、SNRを向上させる。
• C++でROSノードとして実装し、1つのCPUコアで5000万イベント/秒以上のリアルタイム性能を達成するよう最適化する。
• CPUキャッシュに保持される1ピクセルあたり24バイト（実際のデータ21バイト、パディング含む24バイト）の状態を用い、メモリアクセス遅延を最小限に抑える。8MBの総状態はL3キャッシュに収容可能である。

実験結果

リサーチクエスチョン

• RQ1 IIRフィルタリングとゼロクロスイング検出に基づく軽量で非同期なアルゴリズムは、ノイズ環境下でも単純なエッジトリガー手法を上回る、周期的信号の基本周波数推定性能を発揮できるか？
• RQ2 イベントベース周波数イメージングにおいて、立ち上がりエッジと降下エッジの選択が周波数推定精度に与える影響はいかほどか？
• RQ3 信号補間と輝度再構築は、直接的なイベントカウントと比較して、周波数推定の精度をどの程度向上させるか？
• RQ4 フルセンサイメージングにスケーリングする際の主なハードウェア制限要因（特にリードアウト帯域幅とレンズフレア）は何か？
• RQ5 一般用途CPU上でソフトウェア実装した場合、フルセンサ周波数イメージングにリアルタイム性能を達成できるか。また、プロprietaryソリューションと比較して性能はどのようになるか？

主な発見

• IIRフィルタリング手法により、1ピクセルあたり最大64kHzまでロバストな周波数推定が可能となり、特に高周波数ノイズ環境下でベースライン手法を顕著に上回る性能を示した。
• 降下エッジを用いた周期検出は、立ち上がりエッジよりも周波数推定がより正確であり、ノイズや非単調な信号遷移が存在する状況でも顕著に優れた性能を発揮した。
• ゼロレベルクロスイング時刻の補間により、正弦波以外の波形（例：方形波や三角波）に対しても周波数推定の精度が向上した。
• リードアウト帯域幅の制限がフルセンサ周波数イメージングの性能を著しく制限しており、オンセンサハードウェア実装が大幅な性能向上をもたらす可能性を示唆した。
• ノートパソコンのCPU上で5000万イベント/秒以上の速度でリアルタイム動作を達成し、Prophesee社のプロプライエタリなMetavision振動解析モジュールの結果と定性的に一致した。
• 高ダイナミックレンジシーンにおけるレンズフレアは周波数イメージの品質を著しく劣化させ、今後の実装においてより優れたダイナミックレンジ対処法の必要性を浮き彫りにした。