[論文レビュー] Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras

Friedhelm Hamann, Guillermo Gallego|arXiv (Cornell University)|Jul 15, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、空間的・時間的整合性を持つフレームベースおよびイベントベースのカメラを統合したステレオ共撮システムを提示し、高精度なフィッシュトラッキングを実現する。時間面表現を用いたイベントベースのマルチアノーマルトラッキングアルゴリズムのベースラインを導入し、フレームベース手法に比べてmAPが低いものの、安定したトラッキングを達成し、動物行動解析におけるハイブリッドイベント-フレームトラッキングシステムの基盤を築く。

ABSTRACT

This work introduces a co-capture system for multi-animal visual data acquisition using conventional cameras and event cameras. Event cameras offer multiple advantages over frame-based cameras, such as a high temporal resolution and temporal redundancy suppression, which enable us to efficiently capture the fast and erratic movements of fish. We furthermore present an event-based multi-animal tracking algorithm, which proves the feasibility of the approach and sets the baseline for further exploration of combining the advantages of event cameras and conventional cameras for multi-animal tracking.

研究の動機と目的

• フレームベースおよびイベントベースのカメラを用いた、同期的かつ空間的に整合されたステレオ共撮システムの開発を目的とする。
• 従来のフレームベースカメラの限界を超えて、高速で不規則なフィッシュの動きを高時間分解能で記録することを目的とする。
• フレームベース手法と比較可能なベースラインのイベントベースマルチオブジェクトトラッキングアルゴリズムの確立を目的とする。
• イベントデータとフレームデータの融合により、困難な条件下でのトラッキングのロバスト性と効率性を向上させることを目的とする。
• 将来的なイベントベース動物トラッキング研究の再現可能性を高めるためのプラットフォームを提供することを目的とする。

提案手法

• ビームスプリッターにより、フレームベースカメラ（Basler, 120 fps）とイベントカメラ（DVS128）の光路を整合させ、視野の空間的整合性を確保する。
• ハードウェアトリガーを用いて、フレームおよびイベントデータストリーム間のマイクロ秒レベルの時間同期を実現する。
• イベントデータは、E2VIDを用いてフレームに類似した再構成とイベントベーストラッキング用のタイムマップに処理される。
• 物体検出は、グレイスケールフレーム、E2VID再構成画像、タイムサーフェスマップの3種類の入力に対してYOLOv5sを用い、小規模なラベル付きデータセットを用いたトランスファーラーニングを実施する。
• マルチオブジェクトトラッキングは、カルマンフィルタとハンガリアン法による関連付けを用い、3種類の表現からの検出結果に適用する。
• 本システムは、20×20×20 cmの水槽内で1～6匹のPoecilia formosaを対象とした12のシーケンスで検証され、評価にはトップビューの記録が用いられた。

実験結果

リサーチクエスチョン

• RQ1 イベントベースカメラは、従来のフレームベースカメラが困難とする高速で不規則なフィッシュの動きを効果的に捉えることができるか？
• RQ2 トラッキング・バイ・検出パラダイムを用いて、イベントデータのみでマルチアノーマルトラッキングが可能か？
• RQ3 検出精度およびトラックの安定性という観点から、イベントベーストラッキングはフレームベーストラッキングに比べてどの程度の性能を示すか？
• RQ4 イベントデータから得られるタイムサーフェス表現は、標準的なコンピュータビジョンパイプラインにおいて物体検出およびトラッキングに有効に利用できるか？
• RQ5 フレームとイベントデータを統合することで、動物トラッキングにおけるロバスト性と効率性が向上する可能性はどの程度か？

主な発見

• イベントベース物体検出器は、タイムサーフェスマップ上でmAP 0.4224を達成したが、フレームベース検出器の0.6169に比べて低かったが、依然として実現可能性を示した。
• タイムサーフェスデータの平均トラックレット持続時間は14.11秒であったのに対し、グレイスケールフレームでは20.42秒であり、安定したがやや短命なトラッキングであることが示された。
• E2VID再構成画像表現では、mAP 0.4936および平均トラックレット時間16.28秒を達成し、中間的な性能が得られた。
• 本システムは、平均1秒あたり675,000イベントの高いイベントレートを記録し、標準的な120 fpsフレームカメラの能力を超えて高速なフィッシュの動きを捕捉できた。
• ベースラインのイベントベーストラッカーは、イベントデータがマルチアノーマルトラッキングに有効に利用可能であることを実証し、将来的なハイブリッドフレーム-イベントアルゴリズムの基盤を築いた。
• 共撮システムにより、フレームベースおよびイベントベーストラッキングの公平な比較が可能となり、将来的なマルチビュー統合による3次元軌道再構築を支援する。