[論文レビュー] Millisecond insect tracking system

T. Thang Vo‐Doan, Andrew Straw|arXiv (Cornell University)|Feb 27, 2020

Neurobiology and Insect Physiology Research参考文献 20被引用数 8

ひとこと要約

本論文では、飛行する昆虫の25mgのリフレクターにロックオンする高精度なミリ秒スケールの昆虫追跡システムを提案する。このシステムは、望遠ズームカメラと四元形式フォトダイオードを制御する高速パン・チルトミラーを用い、3メートルの軸方向範囲および±40°の水平および垂直視野をカバーする。閉ループ遅延が1ミリ秒未塔であり、高倍率・低ブラーの動画記録を実現し、従来の動画技術における空間分解能と追跡体積のトレードオフを克服する。

ABSTRACT

Animals such as insects have provided a rich source of inspiration for designing robots. For example, animals navigate to goals via efficient coordination of individual motor actions, and demonstrate natural solutions to problems also faced by engineers. Recording individual body part positions during large scale movement would therefore be useful. Such multi-scale observations, however, are challenging. With video, for example, there is typically a trade-off between the volume over which an animal can be recorded and spatial resolution within the volume. Even with high pixel-count cameras, motion blur can be a challenge when using available light. Here we present a new approach for tracking animals, such as insects, with an optical system that bypasses this tradeoff by actively pointing a telephoto video camera at the animal. This system is based around high-speed pan-tilt mirrors which steer an optical path shared by a quadrant photodiode and a high-resolution, high-speed telephoto video recording system. The mirror is directed to lock on to the image of a 25-milligram retroreflector worn by the animal. This system allows high-magnification videography with reduced motion blur over a large tracking volume. With our prototype, we obtained millisecond order closed-loop latency and recorded videos of flying insects in a tracking volume extending to an axial distance of 3 meters and horizontally and vertically by 40 degrees. The system offers increased capabilities compared to other video recording solutions and may be useful for the study of animal behavior and the design of bio-inspired robots.

研究の動機と目的

• 高速動物動画記録における空間分解能と追跡体積のトレードオフを克服すること。
• 大規模飛行中の昆虫の体部の動きを高精度・マルチスケールで観察すること。
• アクティブ光学追跡を用いて、高速で移動する昆虫の動画記録におけるブラーを低減すること。
• 小型で機敏な動物のリアルタイム追跡を実現する低遅延・閉ループ制御を達成すること。
• 高分解能・長時間の動画を提供することで、自由に移動する昆虫の詳細な行動解析とバイオインスパイアドロボティクスを支援すること。

提案手法

• 高速パン・チルトミラーを用いたシステムが、高解像度・高速度の望遠ズームカメラと四元形式フォトダイオードの間で共有される光路をアクティブに制御する。
• 昆虫に取り付けられた25ミリグラムのリフレクターに、フォトダイオードからのフィードバックを用いて正確にロックオンする。
• 昆虫の位置に応じて、リアルタイムで光路を動的に調整し、ミリ秒スケールの遅延で追跡する。
• カメラは高フレームレートで動作し、アクティブな指向機構により、高速移動時でもブラーを最小限に抑える。
• 追跡体積は軸方向に3メートル、水平および垂直方向に±40度まで拡大され、大規模な飛行観察が可能になる。
• 動画記録と位置フィードバックが統合された1つの閉ループ制御アーキテクチャにより、リアルタイム追跡が実現される。

実験結果

リサーチクエスチョン

• RQ1 アクティブカメラ制御は、飛行中の昆虫の高速動画記録におけるブラーを顕著に低減できるか？
• RQ2 閉ループ光学追跡システムは、大規模な三次元体積においてどの程度高い空間分解能を維持できるか？
• RQ3 四元形式フォトダイオードと高速カメラを統合することで、追跡の遅延と精度はどの程度向上するか？
• RQ4 小型動物に適したリフレクターを用いたアクティブ光学システムで、得られる最大の追跡体積と分解能は何か？
• RQ5 このシステムは、ブラーを最小限に抑えつつ、複雑な昆虫飛行行動の信頼性の高い長時間観察を可能にするか？

主な発見

• システムはミリ秒スケールの閉ループ遅延を達成し、高速で移動する昆虫のリアルタイム追跡を可能にした。
• アクティブカメラ制御のおかげで、昆虫の高速移動時でもブラーが顕著に低減された。
• 追跡体積は軸方向に3メートル、水平および垂直方向に±40度まで拡大され、大規模な飛行観察が可能になった。
• 全追跡体積にわたり、高解像度の動画がブラーを最小限に抑えながら正常に記録された。
• 四元形式フォトダイオードと高速望遠ズームカメラの統合により、追跡システムの正確なリアルタイム位置フィードバックが実現した。
• プロトタイプは、飛行中の昆虫の体部運動のマルチスケール・高精度観察の実現可能性を示した。