[論文レビュー] Multi-camera Realtime 3D Tracking of Multiple Flying Animals

Andrew Straw, Kristin Branson+2 more|arXiv (Cornell University)|Jan 25, 2010

Neurobiology and Insect Physiology Research参考文献 33被引用数 11

ひとこと要約

本稿では、拡張カルマンフィルタと最近傍者データ連携を用いて、複数の飛行する動物のリアルタイム3次元追跡を実現する低遅延でマルチカメラなシステム、flydraを提案する。40 ms未満の遅延を達成しており、動的センサーフィードバック実験を可能にし、標準的なハードウェアを用いて11台のカメラで60 fpsで3匹のハエの追跡を安定的に行うことを実証した。

ABSTRACT

Automated tracking of animal movement allows analyses that would not otherwise be possible by providing great quantities of data. The additional capability of tracking in realtime - with minimal latency - opens up the experimental possibility of manipulating sensory feedback, thus allowing detailed explorations of the neural basis for control of behavior. Here we describe a new system capable of tracking the position and body orientation of animals such as flies and birds. The system operates with less than 40 msec latency and can track multiple animals simultaneously. To achieve these results, a multi target tracking algorithm was developed based on the Extended Kalman Filter and the Nearest Neighbor Standard Filter data association algorithm. In one implementation, an eleven camera system is capable of tracking three flies simultaneously at 60 frames per second using a gigabit network of nine standard Intel Pentium 4 and Core 2 Duo computers. This manuscript presents the rationale and details of the algorithms employed and shows three implementations of the system. An experiment was performed using the tracking system to measure the effect of visual contrast on the flight speed of Drosophila melanogaster. At low contrasts, speed is more variable and faster on average than at high contrasts. Thus, the system is already a useful tool to study the neurobiology and behavior of freely flying animals. If combined with other techniques, such as `virtual reality'-type computer graphics or genetic manipulation, the tracking system would offer a powerful new way to investigate the biology of flying animals.

研究の動機と目的

• 飛行するハエや鳥などの複数の自由に飛行する動物を自動的に3次元追跡する低遅延でスケーラブルなシステムの開発。
• 40 ms未満のシステム遅延を実現することで、リアルタイム行動実験の実現。
• マーカーレスでマルチターゲット追跡と動的ステップコントロールを統合し、神経生物学的調査を可能にする。
• 多数の低価格カメラを用いて、大規模な体積で高解像度の追跡を実現する。
• 高精度で高スループットな軌道データを提供することで、機械学習や行動モデリングのためのデータ収集を支援する。

提案手法

• システムはベイジアンフレームワークに従い、最大後確率（MAP）推定法を用いて、ターゲット状態推定値を再帰的に更新する。
• 拡張カルマンフィルタ（EKF）は、線形化された運動モデルと観測モデルを用いて、事後分布を近似する。
• 観測モデルは非線形観測関数とそのヤコビアン計算を組み込み、状態更新に用いる。
• データ連携には最近傍者標準フィルタを用い、2次元画像観測と追跡ターゲットを結びつける。
• 複数のカメラビューからの線形最小二乗法を用いたトリアングレーションにより、3次元位置と姿勢を再構築し、径方向歪み補正を施す。
• 状態更新モデルは、ターゲットの追跡領域への進入・離脱をサポートし、マルチターゲット追跡の信頼性を高める。

実験結果

リサーチクエスチョン

• RQ1 神経生物学的実験に適した、最小限の遅延で複数の飛行動物のリアルタイム3次元追跡を実現する方法は何か？
• RQ2 視覚コントラストの変化が、Drosophila melanogasterの飛行速度と変動性に与える影響は何か？
• RQ3 スケーラブルで低コストなマルチカメラシステムは、マーカーなしで飛行動物の正確な3次元追跡を可能にするか？
• RQ4 マルチカメラトリアングレーションは、大規模な追跡領域における空間分解能の向上とオクルージョン効果の低減にどのように寄与するか？
• RQ5 リアルタイム追跡は、動的センサーフィードバックを伴うクローズドループ実験をどの程度可能にするか？

主な発見

• システムは40 ms未満の遅延を達成しており、動物の飛行中にリアルタイムでセンサーフィードバックを操作可能にした。
• 11台のカメラを用いた設定は、標準的なIntel Pentium 4およびCore 2 Duoコンピュータを用いて、60 fpsで3匹のDrosophila melanogasterを同時に追跡した。
• 低視覚コントラスト下では、Drosophilaの飛行速度が高コントラスト時よりも顕著に速く、変動性も高くなった。
• オクルージョン効果が最小限に抑えられ、大規模な空間領域においても複数ターゲットの追跡に安定した性能を示した。
• リアルタイム追跡と仮想現実や遺伝子操作技術の統合により、飛行行動の神経制御を研究する新たな道筋が開かれた。
• 複数のカメラビューからのトリアングレーションと径方向歪み補正を用いて、位置とボディオントロレーションの高精度な3次元再構築が可能となった。