[論文レビュー] BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking

Hauke J. Mönck, A. Jörg+8 more|arXiv (Cornell University)|Mar 21, 2018

Advanced Vision and Imaging参考文献 10被引用数 33

ひとこと要約

BioTracker は、ビデオ I/O、GUI ツール、データエクスポートといった再利用可能なコアコンponents を提供することで、視覚的動物追跡を加速するオープンソースのコンピュータビジョンフレームワークです。研究者がモジュラープラグインを通じてカスタム追跡アルゴリズムを統合できる仕組みを備えており、一般機能と問題固有のビジョンロジックを分離することで、重複したコーディングを削減し、多様な動物追跡課題（群泳するフィッシュ、ハチ、バイオミメティックロボットなど）における迅速なプロトタイピングとデプロイメントを可能にします。

ABSTRACT

The study of animal behavior increasingly relies on (semi-) automatic methods for the extraction of relevant behavioral features from video or picture data. To date, several specialized software products exist to detect and track animals' positions in simple (laboratory) environments. Tracking animals in their natural environments, however, often requires substantial customization of the image processing algorithms to the problem-specific image characteristics. Here we introduce BioTracker, an open-source computer vision framework, that provides programmers with core functionalities that are essential parts of a tracking software, such as video I/O, graphics overlays and mouse and keyboard interfaces. BioTracker additionally provides a number of different tracking algorithms suitable for a variety of image recording conditions. The main feature of BioTracker is however the straightforward implementation of new problem-specific tracking modules and vision algorithms that can build upon BioTracker's core functionalities. With this open-source framework the scientific community can accelerate their research and focus on the development of new vision algorithms.

研究の動機と目的

• 既存のソフトウェアが失敗するような複雑または自然な環境における動物追跡のための柔軟で拡張可能なフレームワークの欠如に対処する。
• ビデオ I/O、GUI インタラクション、データエクスポートといった共通タスクを共有コアフレームワークに抽象化することで、開発のオーバーヘッドを低減する。
• 研究者が低レベルのインfra構築を再実装するのではなく、新しい画像処理アルゴリズムの設計に集中できるようにする。
• カスタム追跡モジュールの動的ロードをサポートし、1つのインターフェース内で複数のアルゴリズムをシームレスにテスト・比較できるようにする。
• 標準化され拡張可能なプラットフォームを提供することで、再現性と共同作業を促進し、動物追跡研究を支援する。

提案手法

• データ、ロジック、ユーザーインターフェースコンponents を分離するため、モデル・ビュー・コントローラー（MVC）アーキテクチャを用いたモジュラーフレームワークを設計する。
• ビデオ入出力、再生コントロール、ズーム、トラックポイント編集、結果の汎用フォーマットへのエクスポートを処理するコアコンponentを実装する。
• 追跡モジュール用のプラグインインターフェースを定義し、開発者が標準化されたメソッド呼び出しを介してコアと統合可能なカスタムアルゴリズムを実装できるようにする。
• 外部ライブラリの活用：コンピュータビジョン操作には OpenCV、GUI コンponents には Qt を使用し、クロスプラットフォーム互換性（Windows、Linux、Mac）を確保する。
• 背景差分法や特徴検出といった共通の追跡課題を簡素化するユーティリティコンponentを提供し、モジュール内のボイラープレートコードを削減する。
• 再利用可能でプラグイン対応の実装を提供することで、Lucas-Kanade 光学フロー や適応的背景モデリング（例：KaewTrakulPong & Bowden）といった高度なアルゴリズムの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モジュラーサイズでオープンソースのフレームワークは、標準でない環境における新しい動物追跡ソリューションの実装に要する開発時間と作業負荷を削減できるか？
• RQ2 共有コアフレームワークは、自然環境におけるフィッシュ、ハチのダンス、バイオミメティックロボットを含む多様な追跡課題をどの程度効果的にサポートできるか？
• RQ3 コア機能と追跡ロジックを分離することで、追跡ソフトウェアの拡張性と保守性がどのように向上するか？
• RQ4 研究者が複数の追跡アルゴリズムを、ツールを切り替えずに一貫したユーザーインターフェース内で効率的に比較・テストできるか？
• RQ5 このフレームワークは、生態学的および行動研究における新しいビジョンアルゴリズムの迅速なプロトタイピングとデプロイメントを可能にするか？

主な発見

• BioTracker は、RoboFish プロジェクトで実証されたように、実験用水槽内のフィッシュのライブ追跡を成功裏に実現し、クローズドループ相互作用シナリオをサポートした。
• 複数のプロジェクトにまたがる共通タスク（例：ビデオ I/O、GUI コントロール）の重複実装が削減され、多様な追跡課題における開発が簡素化された。
• 背景差分法や光学フローに基づくトラッカーを含むカスタム追跡モジュールが、同じインターフェース内で正常に統合・テストされ、直接比較が可能になった。
• モジュラー設計により、グッピー、モラニ、ゼブラフィッシュ、ハチ、ミツバチを含むさまざまな動物モデルでコアコンponentを再利用可能となった。
• 動的プラグインロードおよび標準化されたインターフェースのサポートにより、一貫したユーザー体験が実現し、異なる追跡アプリケーション間での切り替えに伴う学習曲線の低下が達成された。
• このフレームワークは、Poecilia mexicana の社会的行動研究およびハチのナビゲーション研究を含む複数の出版済み研究で採用されており、実世界の研究における実用的価値が裏付けられた。