[論文レビュー] First Step toward Model-Free, Anonymous Object Tracking with Recurrent Neural Networks

Quan Gan, Qipeng Guo+2 more|arXiv (Cornell University)|Nov 19, 2015

Video Surveillance and Tracking Methods参考文献 20被引用数 51

ひとこと要約

本論文は、畳み込みニューラルネットワークと再帰的ニューラルネットワークを用い、多層アテンションを組み合わせたモデルフリーでエンド・トゥ・エンドで学習可能な視覚的オブジェクト追跡システムを提案する。このシステムは、オブジェクトクラスラベルに依存せず、ノイズが多くごみだらけの環境でも匿名のオブジェクトを追跡することを目的としている。合成シーケンスにおいてカーネル化相関トラッカーを上回り、特に邪魔な要因がある長時間のシーケンスにおいても、より頑健でばらつきが小さい追跡性能を示している。

ABSTRACT

In this paper, we propose and study a novel visual object tracking approach based on convolutional networks and recurrent networks. The proposed approach is distinct from the existing approaches to visual object tracking, such as filtering-based ones and tracking-by-detection ones, in the sense that the tracking system is explicitly trained off-line to track anonymous objects in a noisy environment. The proposed visual tracking model is end-to-end trainable, minimizing any adversarial effect from mismatches in object representation and between the true underlying dynamics and learning dynamics. We empirically show that the proposed tracking approach works well in various scenarios by generating artificial video sequences with varying conditions; the number of objects, amount of noise and the match between the training shapes and test shapes.

研究の動機と目的

• オブジェクトカテゴリの事前知識がなくても動作する視覚的オブジェクト追跡システムを開発すること。これにより、自動運転のような実世界のシナリオで匿名のオブジェクトを追跡可能にする。
• オブジェクト検出器や運動モデルといった手作業で設計されたコンponentsに依存しないように、統合的でエンド・トゥ・エンドで微分可能なシステムを学習すること。
• 表現と追跡ダイナミクスの共同最適化により、遮蔽、ごみ、複数の干渉要因といった困難な条件下での一般化性能と頑健性を向上させること。
• 再帰ネットワークを用いて、明示的な状態空間モデルを回避して、rawな動画から時間的ダイナミクスを直接モデル化する可能性を検討すること。

提案手法

• モデルは、視覚的特徴抽出のための畳み込みニューラルネットワーク（CNN）と、動画フレーム間の時間的依存性をモデル化するための再帰的ニューラルネットワーク（RNN）を組み合わせる。
• 特徴抽出の前段階で、複数の特徴レイヤーにアテンション機構を適用し、入力から関連のある領域を動的に強調する。
• RNNは過去の予測結果と対応する視覚的特徴を統合して、バウンディングボックスの出力を生成する。これにより、オブジェクトの運動と外観の記憶が可能になる。
• システム全体は、オブジェクト数、ノイズ、トレーニングとテストセット間の形状不一致といった制御された変動を含む合成動画シーケンス上でエンド・トゥ・エンドに学習される。
• ガウスアテンションを用いたマスキング機構により特徴の注目領域をガイドするが、明るいオブジェクトに偏る可能性がある。
• 本モデルは、遮蔽や背景のごみといった多様な追跡課題を模擬する人工的に生成されたデータセット上で評価される。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのトラッカーをエンド・トゥ・エンドに学習させ、オブジェクトクラスラベルや事前定義されたオブジェクト表現に依存せずに、匿名のオブジェクトを追跡可能かどうか。
• RQ2 多層アテンションを備えた再帰ネットワークは、従来のフィルタリング手法やトラッキング・バイ・検出手法と比較して、ノイズ、遮蔽、干渉要因の存在下でも追跡の頑健性をどのように向上させるか。
• RQ3 テスト時のオブジェクト形状がトレーニング分布と異なる場合、モデルの一般化性能はどの程度達成されるか。
• RQ4 RNNを用いて時間的ダイナミクスを明示的にモデル化することで、識別的相関フィルターよりも優れた長時間シーケンスの追跡性能が得られるか。

主な発見

• 提案されたRecTracker-Att-1モデルは、MNIST-Single-Diffシーケンスにおいて、KerCorrTrackerを上回り、平均IOUが0.64±0.06を達成した。
• 複数オブジェクトが存在する長時間シーケンスにおいても、RecTracker-Att-1はKerCorrTrackerを上回る優れた性能を維持しており、特に干渉要因が存在する状況で、より良い記憶保持能力のおかげである。
• RecTracker-Att-1のIOUの標準偏差は、KerCorrTrackerのそれよりも1桁小さいため、はるかに一貫性があり安定した追跡性能であることが示された。
• ConvTrackerベースラインは匿名オブジェクトの追跡に効果的に機能しなかったため、このようなタスクでは再帰的記憶の必要性が浮き彫りになった。
• IOUスコアが低くても、RecTracker-IDは定性的には妥当な追跡を示しており、IOUが複雑な状況において追跡品質を完全に捉えていない可能性を示唆している。
• 明るい干渉要因が近くを通過する際、モデルがオブジェクトを誤認する場合があることから、現在のアテンション機構のコントラストに対する感受性に限界があることが示された。