[論文レビュー] Event-based Imaging Velocimetry -- An Assessment of Event-based Cameras for the Measurement of Fluid Flows

Christian Willert, Joachim Klinner|arXiv (Cornell University)|Feb 22, 2022

Advanced Memory and Neural Computing参考文献 32被引用数 54

ひとこと要約

本論文では、フレームではなく微秒分解辨の強度変化を捉えるイベントベースカメラを用いた、流体流れの測定に向けた新規手法であるイベントベースイメージングボロメトリ（EBIV）を提案する。連続レーザー照明と、モーションコンペンセーションおよび相関ベースのアルゴリズムによるイベントストリーム処理を活用することで、従来のEBVでは達成できなかった粒子密度にまで及ぶ高時間分解能・低照度に敏感な2次元2成分（2D-2C）流れの測定が可能となり、水中および空気中の流れにおいて実現可能性を示した。リアルタイム処理の可能性も示唆されている。

ABSTRACT

Contrary to conventional frame-based imaging, event-based vision (EBV) or dynamic vision sensing (DVS) asynchronously records binary signals of intensity changes for given pixels with microsecond resolution. The present work explores the possibilities of harnessing the potentials of event-based vision for fluid flow measurement. The described implementations of event-based imaging velocimetry (EBIV) rely on the imaging small particles that are illuminated by a laser light sheet which is similar to classical two-dimensional, two-component (2d-2c) PIV with the difference that a continuously operating laser-light sheet is used without modulation of the laser or camera. The moving particles generate continuous time-stamped events on the detector that are later used to infer their velocity using patch-wise processing schemes. Two flow estimation algorithms are proposed; one uses a "motion compensation" that maximizes the local contrast, the other is based on a sum-of-correlations approach. The underlying motion detection schemes along with the complete absence of background signal allows straightforward retrieval of the events associated with individual particles thereby allowing the reconstruction of individual particle tracks. Alternatively, the event data can be processed with conventional PIV algorithms using images reconstructed from the event data stream. The concepts are demonstrated on simple flows in water and air.

研究の動機と目的

• イベントベースビジョン（EBV）が平面2次元2成分（2D-2C）流れ測定に実用可能かどうかを評価すること。
• 従来のEBVに基づく流れ測定研究で報告されたものより高い粒子種子密度下でのEBIVの性能を評価すること。
• 速度場再構成に向け、モーションコンペンセーションと相関和（sum-of-correlations）の2つのイベントベースモーション推定アルゴリズムを比較すること。
• 連続レーザー照明を用いて、水中および空気中両方の流れにおいてEBIVの適用可能性を実証すること。
• EBIVが時間分解能のある2次元および3次元粒子追跡、および高密度速度場推定に果たす可能性を検討すること。

提案手法

• イベントベースカメラ（SilkyEvCam EvC3AおよびProphesee HD）が、レーザー照明された流れ場における強度変化から非同期でタイムスタンプが付加されたイベントを捉える。
• 連続波（CW）レーザーがマイクロメーター級の粒子を照射し、センサ上に連続的な正負のイベントを生成する。
• 2つのモーション推定アルゴリズムを実装する：一方は局所コントラストを最大化することでモーションコンペンセーションを実現し、他方は画像パッチ間の相関和を用いる。
• イベントデータを処理して粒子軌跡と速度場を再構成し、従来のPIVアルゴリズムとの互換性を確保するための強度画像の代替再構成も行う。
• フレームベースの取得を一切行わず、EBVセンサの高時間分解能（1 µs）およびダイナミックレンジ（>120 dB）を活用して、高密度速度場推定を実現する。
• GPU加速処理によりミリ秒オーダーの遅延でリアルタイム分析が可能となり、リアルタイムの流れ診断に適している。

実験結果

リサーチクエスチョン

• RQ1 連続レーザー照明を用いた場合、イベントベースカメラは高粒子像密度下でも信頼性の高い2次元2成分（2D-2C）流れ速度測定を達成できるか？
• RQ2 モーションコンペンセーションと相関和アルゴリズムは、EBIVの速度推定において、精度と頑健性の点でどのように比較されるか？
• RQ3 EBIVの速度範囲、時間分解能、および背景ノイズやフレッシャー（ちらつき）に対する感受性という観点での限界は何か？
• RQ4 イベントデータから十分な精度で個々の粒子軌跡を再構成できるか、粒子追跡ボロメトリ（PTV）応用に適しているか？
• RQ5 EBIVは、高速流れ、低照度条件、または表面付近の流れ測定において、従来のPIVを代替または補完する可能性をどの程度持っているか？

主な発見

• EBIVは、従来のイベントベースイメージングで報告されたものよりはるかに高い粒子密度下で、水中および空気中両方の流れにおいて2次元2成分（2D-2C）流れ速度を正確に測定できた。
• 局所コントラストを最大化することでモーションコンペンセーションを実現するアルゴリズムが、複雑な流れ領域において相関和法を上回る高い精度を示した。
• 1280×720解像度、4.86 µmピクセルサイズのイベントベースカメラは、250 µs（4 kHzフレームレートに相当）までの時間分解能で粒子追跡と速度場再構成に効果的に機能した。
• イベントデータに背景信号が存在しないため、粒子イベントの直接的かつ明確な同定が可能となり、粒子追跡の簡素化とノイズ関連エラーの低減が達成された。
• EBIVはミリ秒オーダーの遅延でリアルタイム処理が可能であり、オンラインの流れ診断や制御応用に適している。
• 特に、従来のPIVが過剰な光の散乱を引き起こす表面付近の流れにおいて、静的表面はイベントを発生させないため、EBIVは顕著な利点を示した。