[論文レビュー] Detection and Tracking of Multiple Mice Using Part Proposal Networks

Zheheng Jiang, Zhihua Liu+7 more|arXiv (Cornell University)|Jun 6, 2019

Zebrafish Biomedical Research Applications被引用数 5

ひとこと要約

本論文は、部分提案ネットワークとベイジアン推論整数線形計画法モデルを用いて、幾何的制約を伴う個体への部分の同時割り当てを実現する、マーカーレスでディープラーニングベースの複数匹のマウスの検出および追跡手法を提案する。本手法は、マルチマウス部分追跡において最先端の精度を達成し、ベンチマーク用に挑戦的な Multi-Mice PartsTrack データセットを導入した。

ABSTRACT

The study of mouse social behaviours has been increasingly undertaken in neuroscience research. However, automated quantification of mouse behaviours from the videos of interacting mice is still a challenging problem, where object tracking plays a key role in locating mice in their living spaces. Artificial markers are often applied for multiple mice tracking, which are intrusive and consequently interfere with the movements of mice in a dynamic environment. In this paper, we propose a novel method to continuously track several mice and individual parts without requiring any specific tagging. Firstly, we propose an efficient and robust deep learning based mouse part detection scheme to generate part candidates. Subsequently, we propose a novel Bayesian Integer Linear Programming Model that jointly assigns the part candidates to individual targets with necessary geometric constraints whilst establishing pair-wise association between the detected parts. There is no publicly available dataset in the research community that provides a quantitative test-bed for the part detection and tracking of multiple mice, and we here introduce a new challenging Multi-Mice PartsTrack dataset that is made of complex behaviours and actions. Finally, we evaluate our proposed approach against several baselines on our new datasets, where the results show that our method outperforms the other state-of-the-art approaches in terms of accuracy.

研究の動機と目的

• 頻繁な隠蔽が生じる社会的相互作用シーンにおける、複数匹のマウスの自動的でマーカーレスな追跡の課題に対処すること。
• 人工的マーカーを用いずに、マウスの体部（頭部、尾部、体幹）を特定する耐障害性の高い部分検出システムの開発。
• 個体への部分割り当てと幾何的制約を統合した、識別的一致性を向上させる共同追跡フレームワークの設計。
• マルチマウス部分検出および追跡の評価に用いる、公開可能で高品質なデータセットの構築。
• 本手法が、ゼブラやロキシーなど類似した視覚的・運動的特徴を示す他の動物に対しても一般化可能であることを示すこと。

提案手法

• 2つの並列ブランチ（部分検出および体幹検出）を用いて、高品質な部分および体幹の候補を生成するマルチステージのパーツプロポーザルネットワーク。
• 空間的近接性、外観類似性、時間的一致性に基づくペアワイズ部分関連性を統合し、幾何的制約と運動的一致性を強制する、新規のベイジアン推論整数線形計画法モデル。
• トレーニング中に複雑なシーンにおける検出の耐障害性を向上させるために、ハードネガティブマイニングを適用。
• 部分からターゲットへの割り当てをガイドするための学習された幾何的モデルを用い、IDスイッチの低減を図る。
• 複雑な社会的行動と高い隠蔽が特徴の Multi-Mice PartsTrack データセットを新たに導入し、その上で本手法を評価。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのパーツプロポーザルネットワークは、複雑で隠蔽が頻発するシーンにおいても、マウスの体部（頭部、尾部、体幹）を正確かつ耐障害性高く検出可能か？
• RQ2 幾何的制約とペアワイズ部分関連性を統合した共同最適化フレームワークは、マルチマウス追跡における識別的一致性を向上させられるか？
• RQ3 隠蔽状況下でも、本手法は最先端のマーカーレス追跡手法と比較して、精度および耐障害性の面で優れているか？
• RQ4 本手法は、視覚的・運動的特徴が類似する他の種（例：ゼブラ、ロキシー）に対しても一般化可能か？
• RQ5 幾何的制約と部分関連性モデリングは、追跡性能およびIDスイッチの低減にどのような影響を及ぼすか？

主な発見

• 提案手法は、Multi-Mice PartsTrack データセットにおいて、全評価ベースラインの中で最高の MOTA スコアを達成し、優れた追跡精度を示した。
• 本手法は、IDスイッチの数が最も少なく、IDF1 スコアが最も高かったことから、シーケンス全体にわたる識別的一致性が優れていることが示された。
• 幾何的制約モデルが追跡速度に最も大きな影響を及ぼしており、その計算コストとパフォーマンスへの重要性が浮き彫りになった。
• アブレーションスタディにより、マルチステージトレーニング設計が検出および追跡の耐障害性を向上させることの有効性が確認された。
• 本手法は他の種に対しても良好に一般化され、ロキシーおよびゼブラデータセットでは、頭部・尾部・体幹の検出精度が100%に達した。
• 定性的な結果から、本手法は隠蔽状況を正しく処理でき、従来の手法（MDP や JPDAm）が抱える識別スイッチ問題を回避していることが確認された。