[論文レビュー] Automatic localization and decoding of honeybee markers using deep convolutional neural networks

Benjamin Wild, Leon Sixt+1 more|arXiv (Cornell University)|Feb 13, 2018

Insect and Arachnid Ecology and Behavior参考文献 27被引用数 20

ひとこと要約

本論文では、2つの畳み込みニューラルネットワークを用いたディーブラーニングベースのソフトウェアパイプラインを提示し、ミツバチのカスタムバイナリマーカーの自動局所化とデコードを実現。98.3%の検出精度および87.8%のデコード精度を達成し、従来のシステム比で100倍の高速化を実現。これにより、複数世代にわたる完全なミツバチ群の長期間・高精度な追跡が可能となった。

ABSTRACT

The honeybee is a fascinating model animal to investigate how collective behavior emerges from (inter-)actions of thousands of individuals. Bees may acquire unique memories throughout their lives. These experiences affect social interactions even over large time frames. Tracking and identifying all bees in the colony over their lifetimes therefore may likely shed light on the interplay of individual differences and colony behavior. This paper proposes a software pipeline based on two deep convolutional neural networks for the localization and decoding of custom binary markers that honeybees carry from their first to the last day in their life. We show that this approach outperforms similar systems proposed in recent literature. By opening this software for the public, we hope that the resulting datasets will help advancing the understanding of honeybee collective intelligence.

研究の動機と目的

• ミツバチ群の生涯にわたる個体レベルの自動追跡を可能にすること。
• 変動する照明条件や隠蔽状態下でも、従来のコンピュータビジョン手法の限界を克服し、カスタムバイナリマーカーの検出とデコードを実現すること。
• 大規模な行動研究に適したスケーラブルで、耐障害性があり、効率的なシステムの開発。
• 手作業によるコンピュータビジョンパイプラインに依存する従来のシステムと比較し、人的作業と計算コストを削減すること。
• 集団知能に関する研究を支援するため、高精度で生涯にわたる個体追跡データを提供すること。

提案手法

• 2段階のディーブラーニングパイプラインを採用：まず局所化ネットワークが画像内のマーカーの位置と方向を検出し、その後にデコードネットワークがマーカーからのバイナリIDを抽出する。
• 局所化ネットワークは、手動でアノテーションされたマーカー画像で学習させ、変動する照明、隠蔽、画像品質の変化に対しても検出を可能にした。
• デコードネットワークの学習用に、実際の画像に類似したマーカー画像を合成するための生成的敵対ネットワーク（RenderGAN）を用いた。
• デコードネットワークは、RenderGANで生成された合成データで学習させ、手作業によるラベル付けを極力減らしながら、実世界の画像変動に一般化できるようにした。
• システムは再訓練に適応可能：新しい局所化アノテーションのみを用意すれば、以降のステップは合成データ生成により自動化される。
• パイプラインは、消費用途GPU（Geforce GTX 1080 Ti）で実行可能であり、約800頭のミツバチを含むコロニーに対して3 Hzのリアルタイム推論を達成している。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、実世界の条件下で、照明変動や隠蔽状態下でも、従来のコンピュータビジョン手法を上回るカスタムバイナリマーカーの検出とデコードを実現できるか？
• RQ2 変動する照明、隠蔽、マーカーの劣化にもかかわらず、長期間にわたる観察において、システムは高い精度を維持できるか？
• RQ3 RenderGANで生成された合成データは、マーカーのデコードネットワーク学習における手作業ラベルの必要性をどの程度低減できるか？
• RQ4 検出精度、デコード精度、計算効率の観点から、既存のマーカーベースの追跡システムと比較して、本システムの性能はどの程度か？
• RQ5 本システムは、最小限の人的介入で、複数世代にわたるミツバチの個体レベルの生涯追跡を可能にするか？

主な発見

• システムの組み合わせ検出・デコード精度は86.3%であり、98.3%の検出精度と87.8%のデコード精度の積として計算される。
• ディーブラーニングパイプラインにより、従来のスーパーコンピュータ依存のプロトタイプと比較し、処理時間を100分の1に短縮した。
• CNNが学習した不変性のおかげで、低照度、レンズ歪み、画像ノイズを含む多様な画像条件に対しても、高い性能を維持した。
• マーカーの耐久性が向上し、機械的ストレスにもかかわらず数日間の持続が可能となり、長期間の追跡が可能になった。
• 時間的追跡処理とビット確率平均化による後処理により、探索的実験で組み合わせ精度が96%まで向上した。
• 消費用途のハードウェア上でリアルタイム処理が3 Hzで実現可能であり、最大800頭のミツバチを含む完全なコロニーの追跡をサポートした。