[論文レビュー] Differentiating Objects by Motion: Joint Detection and Tracking of Small Flying Objects

Ryota Yoshihashi, Tu Tuan Trinh+4 more|arXiv (Cornell University)|Sep 14, 2017

Robotics and Sensor-Based Localization参考文献 48被引用数 27

ひとこと要約

本稿では、小規模で視覚的特徴が乏しい飛行物体の検出を向上させるために、ConvLSTMを用いて複数フレームの動きの手がかりを活用する、共同検出とトラッキングフレームワークである再帰的相関ネットワーク（RCN）を提案する。検出とトラッキングの間で表現を共有することで、鳥類およびUAVデータセットにおいて最先端の性能を達成し、単一フレーム検出器や既存の動きに基づく手法を上回り、ミス率において最大4.3パーセンテージポイントの一貫した向上を実現する。

ABSTRACT

While generic object detection has achieved large improvements with rich feature hierarchies from deep nets, detecting small objects with poor visual cues remains challenging. Motion cues from multiple frames may be more informative for detecting such hard-to-distinguish objects in each frame. However, how to encode discriminative motion patterns, such as deformations and pose changes that characterize objects, has remained an open question. To learn them and thereby realize small object detection, we present a neural model called the Recurrent Correlational Network, where detection and tracking are jointly performed over a multi-frame representation learned through a single, trainable, and end-to-end network. A convolutional long short-term memory network is utilized for learning informative appearance change for detection, while learned representation is shared in tracking for enhancing its performance. In experiments with datasets containing images of scenes with small flying objects, such as birds and unmanned aerial vehicles, the proposed method yielded consistent improvements in detection performance over deep single-frame detectors and existing motion-based detectors. Furthermore, our network performs as well as state-of-the-art generic object trackers when it was evaluated as a tracker on the bird dataset.

研究の動機と目的

• 監視およびUAV画像における視覚的特徴が弱い小規模飛行物体の検出という課題に対処すること。
• 特に羽ばたきなどの変形を含む動きのパターンが、静的な外観を越えて検出性能を向上させるために学習可能かどうかを調査すること。
• 検出とトラッキングを1つのエンドツーエンドで学習可能なネットワークに統合し、動きにインformedな共有表現を用いて両方のタスクを向上させること。
• 再帰的動きモデリングを用いた共同学習が、単一フレームまたは非再帰的マルチフレームベースラインと比較して、より優れた検出性能をもたらすことを実証すること。

提案手法

• フレーム系列から判別的なマルチフレーム表現を学習するため、ConvLSTMベースのエンコーダーを採用し、羽ばたきや物体の変形などの時間的ダイナミクスを捉える。
• 最初のフレームからのテンプレートと、以降のフレーム内の検索窓を、共有表現を用いて照合することで、オブジェクトの局所化を実現するためのクロス相関層を採用。
• 検出とトラッキングを1つのエンドツーエンドアーキテクチャに統合し、検出器の出力を共有特徴を介してトラッカーのガイドおよび安定化に活用。
• 検出とトラッキングの間で共有された特徴表現を用いることで、パラメータ数を削減し、時間的一致性を活用することで一般化性能を向上。
• ボクシングボックスアノテーションを備えた動画データセットを用いて、標準的な検出およびトラッキング損失関数を用いて、完全に教師ありの方法でモデルを学習。
• ハイパーパramータのアブレーションスタディとして、カーネルサイズ、ConvGRUとConvLSTMの使用比較、トラッキングまたは再帰的コンponentの削除が与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 複数フレームの動きの手がかりが、視覚的に判別がつきにくい小規模飛行物体の検出を顕著に向上させることができるか？
• RQ2 共有表現を用いた共同検出とトラッキングは、分離的または単一フレームアプローチと比較して、性能向上にどのように寄与するか？
• RQ3 ConvLSTMのような再帰的ネットワークが、小規模物体検出に有用な判別的な動きパターン（例：羽ばたき）をどの程度学習できるか？
• RQ4 ConvLSTMによる動きモデリングの統合は、ハンドクラフトされた動き特徴やスコア平均化と比較して、一般化性能を向上させるか？
• RQ5 ドメイン固有のデータセット上でトラッカーとして評価した場合、共同検出・トラッキングフレームワークは、最先端の汎用トラッカーを上回ることができるか？

主な発見

• 鳥類データセットでは、RCNがログ平均ミス率0.268を達成し、単一フレームベースライン（0.332）と比較して7.6パーセンテージポイントの改善を示した。特に再帰的コンponentを削除した場合の向上幅が最大であった。
• ConvLSTMの使用と共同トラッキングにより、単一フレームベースラインと比較してミス率が4.3パーセンテージポイント低下し、動きモデリングの有効性を裏付けた。
• 最適なConvLSTMカーネルサイズはk=3であり、それより大きいまたは小さいカーネルではわずかな性能低下（MR上昇0.010および0.011）が観察された。
• ConvLSTMをConvGRUに置き換えた場合、わずかな性能低下（+0.003 MR）が生じたが、これはLSTMメカニズム全体がこのタスクにおいてより効果的であることを示唆している。
• 再帰的コンponentまたは共同トラッキングを削除した場合、顕著な性能低下（MR上昇0.076および0.053）が観察され、時間的モデリングと共有表現の重要性を確認した。
• 鳥類データセット上でトラッカーとして評価した場合、RCNはハンドクラフトされた特徴ベースのトラッカー（例：GOTURN）およびディープな汎用トラッカー（例：SiamFC）を上回り、トラッキングにおける強力な一般化性能を示した。