[論文レビュー] Siamese Tracking with Lingual Object Constraints

Maximilian Filtenborg, Efstratios Gavves+1 more|arXiv (Cornell University)|Nov 23, 2020

Video Surveillance and Tracking Methods参考文献 26被引用数 4

ひとこと要約

本論文は、『黄色い車の近くにいる』などの自然言語制約を組み込み、動画内のターゲットオブジェクトをフィルタリングおよび局所化する、画素的視覚追跡フレームワークを提案する。SiamRPN++に視覚言語注意機構とピラミッドプーリングモジュールを拡張することで、提案されたSiamCT-CAモデルは、c-MOT16およびc-LaSOTという2つの新しいベンチマークデータセットで最先端の性能を達成し、制約の妥当性に基づいた選択的動画圧縮を可能にする。

ABSTRACT

Classically, visual object tracking involves following a target object throughout a given video, and it provides us the motion trajectory of the object. However, for many practical applications, this output is often insufficient since additional semantic information is required to act on the video material. Example applications of this are surveillance and target-specific video summarization, where the target needs to be monitored with respect to certain predefined constraints, e.g., 'when standing near a yellow car'. This paper explores, tracking visual objects subjected to additional lingual constraints. Differently from Li et al., we impose additional lingual constraints upon tracking, which enables new applications of tracking. Whereas in their work the goal is to improve and extend upon tracking itself. To perform benchmarks and experiments, we contribute two datasets: c-MOT16 and c-LaSOT, curated through appending additional constraints to the frames of the original LaSOT and MOT16 datasets. We also experiment with two deep models SiamCT-DFG and SiamCT-CA, obtained through extending a recent state-of-the-art Siamese tracking method and adding modules inspired from the fields of natural language processing and visual question answering. Through experimental results, we show that the proposed model SiamCT-CA can significantly outperform its counterparts. Furthermore, our method enables the selective compression of videos, based on the validity of the constraint.

研究の動機と目的

• 古典的視覚追跡は運動の軌跡しか提供しないが、これを補完するため、ユーザーが定義した自然言語制約を組み込むことにより、意味的文脈を追加する。
• 追跡システムが、ターゲットが特定の物体に近いか、行動を行っているかどうかといった言語的条件を満たすフレームを、選択的に特定できるようにする。
• LaSOTおよびMOT16を自然言語アノテーションで拡張することで、制約ベースの追跡のための新しいベンチマークフレームワークを構築する。
• 視覚的外観と言語的記述の両方を統合的に推論できる深層学習モデルを設計・評価し、制約下での追跡性能を向上させる。
• 監視や動画要約を含む応用分野において、制約に配慮した追跡の実現可能性を示す。特に、意味的基準に基づいた選択的動画圧縮を実現する。

提案手法

• 視覚質問応答（VQA）にインspiredされたマルチヘッド自己注意機構をSiamRPN++アーキテクチャに拡張し、画像とテキストモダリティの両方における統合的推論を可能にする。
• SiamCT-CAモデルを導入し、言語的制約と視覚特徴の間でクロスアテンションを実現するMCANアーキテクチャを用いることで、言語と視覚的コンテンツの整合性を向上させる。
• スケール変動に強い性能を発揮するため、マルチスケール視覚特徴を統合するピラミッドプールイングモジュール（PPM）を組み込む。
• テンプレート（初期ターゲットフレーム）とサーチ領域（現在のフレーム）から特徴を抽出する二重ブランチのシアンエスネットワークを採用し、相関ベースの局所化を実行する。
• 学習可能な注意機構を用いて、制約内の関連語と画像内の該当視覚領域に動的に注目させ、文脈に配慮した追跡を実現する。
• 局所化損失と制約の接地を最適化するためのコントラスト損失を組み合わせ、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットの環境や行動を記述する自然言語制約を組み込むことで、視覚追跡の性能を向上させることができるか？
• RQ2 視覚言語注意機構は、複雑な言語的条件下でも追跡の正確性と頑健性をどのように向上させるか？
• RQ3 ピラミッドプールイングモジュールは、スケールが多様で長期間にわたる追跡において、どの程度性能向上に寄与するか？
• RQ4 制約に配慮した追跡は、監視や要約を含む実用的応用、特に意味的基準に基づく選択的動画圧縮を可能にするか？
• RQ5 自己注意と自己ガイドド注意といった異なる注意機構は、言語的記述に従ってターゲットを局所化する能力にどのように影響を与えるか？

主な発見

• SiamCT-CAモデルは、c-MOT16およびc-LaSOTの両データセットでSiamCT-DFGおよびSiamCT-CA+PPMを著しく上回り、最高の平均精度とAUCスコアを達成した。
• McNemar検定により、SiamCT-CAとその変種間の性能差が統計的に有意であることが確認され、ほとんどの比較でp値 < 1e-99であった。
• 『car』や『hand』といった特定の語に対して優れた性能を示し、SiamCT-CA+PPMは『hand』のAPで顕著な向上を達成した（他の語よりも大きい）。
• 注目マップから、SiamCT-CAは主に『car』のようなキーワードに注目しているのに対し、SiamCT-CA+PPMは『black』のような修飾語にも注目が広がっていることがわかった。
• アブレーションスタディにより、注目機構とピラミッドプールイングモジュールの両方が高性能を達成するために不可欠であることが確認され、PPMがスケール間の特徴統合を向上させた。
• フレームワークにより、言語的制約を満たすフレームのみをフィルタリングする有効な選択的動画圧縮が可能となり、実世界の応用における実用性を示した。