[論文レビュー] Robust Visual Object Tracking with Natural Language Region Proposal Network.

Qi Feng, Vitaly Ablavsky+2 more|arXiv (Cornell University)|Dec 4, 2019

Video Surveillance and Tracking Methods参考文献 20被引用数 13

ひとこと要約

本稿では、自然言語記述を用いたエンド・ツー・エンド学習を可能にする新規なNL領域提案ネットワーク（NL-RPN）を紹介する。これにより、手動によるバウンディングボックス初期化の必要がなくなり、遮蔽やドリフト下でも頑健な追跡が達成される。言語と視覚的特徴を共有検索ブランチを介して統合し、過去のエグジンプリアを活用して自動的なトラッカー再初期化を実現することで、NLアノテーション付きベンチマークにおいて先行手法を上回る性能を達成した。

ABSTRACT

Tracking with natural-language (NL) specification is a powerful new paradigm to yield trackers that initialize without a manually-specified bounding box, stay on target in spite of occlusions, and auto-recover when diverged. These advantages stem in part from visual appearance and NL having distinct and complementary invariance properties. However, realizing these advantages is technically challenging: the two modalities have incompatible representations. In this paper, we present the first practical and competitive solution to the challenge of tracking with NL specification. Our first novelty is an NL region proposal network (NL-RPN) that transforms an NL description into a convolutional kernel and shares the search branch with siamese trackers; the combined network can be trained end-to-end. Secondly, we propose a novel formulation to represent the history of past visual exemplars and use those exemplars to automatically reset the tracker together with our NL-RPN. Empirical results over tracking benchmarks with NL annotations demonstrate the effectiveness of our approach.

研究の動機と目的

• 手動によるバウンディングボックスアノテーションなしで視覚的トラッカーを初期化する課題に対処すること。
• 追跡における自然言語と視覚的表現の間のモダリティギャップを克服すること。
• 視覚的エグジンプリアの履歴を活用して、ドリフトや遮蔽後に自動的にトラッカーを回復すること。
• NL-RPNとシアモイズトラッカーを統合したエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 人間がアノテートした自然言語記述を備えたベンチマーク上で、本手法の有効性を示すこと。

提案手法

• 自然言語記述を畳み込みカーネルに変換するNL領域提案ネットワーク（NL-RPN）を提案し、領域提案を生成する。
• NL-RPNとシアモイズトラッカーの間で検索ブランチを共有することで、エンド・ツー・エンド学習と特徴の整合性を実現する。
• 自動的なトラッカー再初期化を導くために、過去の視覚的エグジンプリアの履歴を新たな表現として設計する。
• NL-RPNとシアモイズトラッカーを統合し、トレーニング中に視覚的および言語ベースの特徴を共同最適化する。
• 手動によるバウンディングボックス初期化を必要とせず、NL-RPNで提案を生成する。
• 過去のフレームからの視覚的エグジンプリアを活用して、ターゲットの喪失を検出し、自動的な再初期化をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 自然言語記述を用いて、手動によるバウンディングボックスアノテーションなしで視覚的トラッカーを効果的に初期化できるか？
• RQ2 自然言語と視覚的表現をどのように整合させれば、追跡の頑健性が向上するか？
• RQ3 過去の視覚的エグジンプリアを用いて、トラッカーのドリフトや遮蔽を自動で検出し、回復できるか？
• RQ4 NL-RPNとシアモイズ追跡を統合したエンド・ツー・エンドで学習可能なフレームワークは、競争力のある性能を達成できるか？
• RQ5 本手法は、NLアノテーション付きの既存の追跡ベンチマークにおいて、他のベースライン手法と比較してどのように優れているか？

主な発見

• 提案されたNL-RPNにより、手動による初期化を一切必要とせず、シアモイズトラッカーのエンド・ツー・エンド学習が可能になった。
• 視覚的エグジンプリアの履歴を活用することで、遮蔽やターゲットドリフト下でも頑健な追跡性能を達成した。
• NL-RPNとシアモイズトラッカーの統合により、ベースライン手法と比較して追跡の正確性と安定性が向上した。
• NLアノテート済みシーケンスを備えた追跡ベンチマークにおいて、競争力のある性能を示した。
• 本手法は、ターゲット記述における多様な視覚的および言語的変動に対しても、うまく一般化できた。