[論文レビュー] Siamese Natural Language Tracker: Tracking by Natural Language Descriptions with Siamese Trackers

Qi Feng, Vitaly Ablavsky+2 more|arXiv (Cornell University)|Dec 4, 2019

Video Surveillance and Tracking Methods参考文献 52被引用数 5

ひとこと要約

本論文は、シアンズ自然言語領域提案ネットワーク（SNL-RPN）および動的モダリティ統合を介して自然言語記述をシアンズ視覚追跡に統合する新しいフレームワーク、シアンズ自然言語トラッカー（SNLT）を提案する。ビジョン・ランゲージアライメントとエントロピーに基づく重み付けを活用することで、SNLTはLaSOTでシアンズトラッカーを3–7パーセンテージポイント向上させ、すべての先行NLトラッカーを上回り、1つのGPUで50FPSで動作する。

ABSTRACT

We propose a novel Siamese Natural Language Tracker (SNLT), which brings the advancements in visual tracking to the tracking by natural language (NL) descriptions task. The proposed SNLT is applicable to a wide range of Siamese trackers, providing a new class of baselines for the tracking by NL task and promising future improvements from the advancements of Siamese trackers. The carefully designed architecture of the Siamese Natural Language Region Proposal Network (SNL-RPN), together with the Dynamic Aggregation of vision and language modalities, is introduced to perform the tracking by NL task. Empirical results over tracking benchmarks with NL annotations show that the proposed SNLT improves Siamese trackers by 3 to 7 percentage points with a slight tradeoff of speed. The proposed SNLT outperforms all NL trackers to-date and is competitive among state-of-the-art real-time trackers on LaSOT benchmarks while running at 50 frames per second on a single GPU.

研究の動機と目的

• シアンズトラッカーの進展を活用して、視覚追跡と自然言語（NL）記述による追跡のギャップを埋めること。
• 孤立したNL固有のモデルに依存せずにNLベースの追跡を改善する課題に対処すること。
• 視覚と言語モダリティを統合する汎用的でリアルタイムなフレームワークを構築すること。
• シアンズトラッキングアーキテクチャの継続的進歩を通じて、将来的なNL追跡の改善を可能にすること。
• SNLTが既存のNLトラッカーを上回り、最先端のリアルタイム視覚トラッカーと同等の性能を達成することを示すこと。

提案手法

• シアンズトラッカーと共通の特徴抽出を共有するが、NL埋め込みを畳み込みカーネルとして使用するシアンズ自然言語領域提案ネットワーク（SNL-RPN）を提案する。
• 予測エントロピーに基づいてビジョンと言語ブランチの予測を統合する動的アグリゲーションモジュールを導入し、耐障害性を向上させる。
• 両方のブランチで共有されたバックボーン（例：SiamRPN++）を採用し、エンドツーエンド学習を可能にする。
• テンプレートとサーチ特徴間のクロス相関またはディープワイドクロス相関を用い、NL埋め込みを学習可能なカーネルとして統合する。
• 式（4）でエントロピーに基づく重み付けを適用し、不確実性が低いモダリティに高い信頼度を動的に割り当てる。
• 共有特徴とSNL-RPNを用いて学習し、NLアノテート済み追跡データセット上で言語エンコーダー（例：BERT、HGLMM）を微調整する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム性能を損なわせることなく、シアンズ視覚トラッカーを自然言語記述による追跡に強化できるか？
• RQ2 曇りやオクルージョンなどの曇った状況で、視覚と言語モダリティを動的に統合することで追跡の耐障害性を向上させられるか？
• RQ3 シアンズトラッキング分野の進展を、NLベースの追跡タスクにどの程度転用できるか？
• RQ4 シアンズアーキテクチャ内で言語埋め込みをカーネルとして使用することで、多様な追跡ベンチマークで一貫した性能向上が得られるか？
• RQ5 モダリティの不確実性（エントロピーで測定）と追跡精度の相関関係は何か？また、最適な統合を導く手がかりとなるか？

主な発見

• SNLTはLaSOTベンチマークにおける精度で、ベースラインのシアンズトラッカー（SiamFC、SiamRPN、SiamRPN++）を3–7パーセンテージポイント向上させる。
• SNLTはLaSOTテストセットで、Feng [14] や Li [26] を含むすべての先行自然言語トラッカーを上回る。
• SNLTは1台のNVIDIA 2080 Ti GPUで50フレーム/秒以上の推論速度を達成しており、リアルタイム応用に適している。
• エントロピーで重み付けされる動的アグリゲーションモジュールは、特にオクルージョンや外観が乏しい状況で耐障害性を向上させる。
• HGLMMを文の埋め込みに使用すると、GloVeベースのモデルよりも優れた性能を示し、視覚特化型事前学習の利点を示している。
• アブレーションスタディにより、SNLTは単なるカテゴリーラベルを超えたより豊かな意味的理解を学習していることが確認され、ベースラインのSiamRPN++よりも優れた意味的理解を示している。