[論文レビュー] RPT: Learning Point Set Representation for Siamese Visual Tracking

Ziang Ma, Linyuan Wang+3 more|arXiv (Cornell University)|Aug 8, 2020

Video Surveillance and Tracking Methods参考文献 36被引用数 14

ひとこと要約

本稿では、従来のバウンディングボックス表現に代わって学習可能な代表点の集合を用いることで、より細分化されたターゲット局所化を可能にする、Siamese視覚追跡フレームワークRPTを提案する。マルチレベル特徴統合とオンライン分類ブランチを活用することで、OTB2015、VOT2018、VOT2019、GOT-10kで最先端の性能を達成し、20 FPSを超える推論速度を実現する。

ABSTRACT

While remarkable progress has been made in robust visual tracking, accurate target state estimation still remains a highly challenging problem. In this paper, we argue that this issue is closely related to the prevalent bounding box representation, which provides only a coarse spatial extent of object. Thus an effcient visual tracking framework is proposed to accurately estimate the target state with a finer representation as a set of representative points. The point set is trained to indicate the semantically and geometrically significant positions of target region, enabling more fine-grained localization and modeling of object appearance. We further propose a multi-level aggregation strategy to obtain detailed structure information by fusing hierarchical convolution layers. Extensive experiments on several challenging benchmarks including OTB2015, VOT2018, VOT2019 and GOT-10k demonstrate that our method achieves new state-of-the-art performance while running at over 20 FPS.

研究の動機と目的

• 視覚追跡におけるバウンディングボックス表現の限界、すなわち粗い空間的範囲と幾何的詳細の欠如を解決する。
• 対象を意味的および幾何的に有意義な代表点の集合としてモデル化することで、ターゲット状態推定の精度を向上させる。
• オンライン学習された分類ブランチを通じて、干渉要因や外観変化に対してより高い耐性を発揮する。
• 階層的畳み込み特徴をマルチレベル集約戦略で統合することで、細分化された局所化を実現する。
• 複数のベンチマークで最先端の性能を達成するとともに、リアルタイム推論速度（>20 FPS）を維持する。

提案手法

• ターゲットの空間的範囲と重要な構造的位置を符号化するためのポイントセット表現を提案し、標準的なバウンディングボックスに代わる。
• オフライン学習されたポイントセット予測用とオンラインで判別的特徴を学習するための2本の並列ブランチを持つSiameseネットワークを設計する。
• 複数の畳み込み層からの特徴を統合することで、詳細な構造的情報を捉えるマルチレベル集約戦略を実装する。
• アンカーポイントから代表的ターゲット位置への相対オフセットを予測するポイントセットヘッドを訓練することで、事前定義されたアンカーボックスなしで正確な局所化を実現する。
• 学習可能な埋め込み空間を用いてポイントセットを表現し、標準的なバックプロパゲーションによるエンドツーエンド学習を可能にする。
• D3Sの適応を経て、マスクアノテーション付きのVOT2020での評価に向け、ポイントセット予測とセグメンテーションヘッドを統合する。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックス回帰と比較して、学習可能なポイントセット表現はSiamese視覚追跡におけるターゲット状態推定の精度を向上させ得るか？
• RQ2 マルチレベル特徴統合は、視覚追跡における局所化精度と構造モデリングをどのように向上させるか？
• RQ3 アンカーベースの回帰をポイントセット表現に置き換えることで、外観および幾何的変化下での一般化性と耐性が向上するか？
• RQ4 オンライン分類ブランチは、複雑な追跡シナリオにおいて判別力の向上にどの程度寄与するか？
• RQ5 提案手法は、標準ベンチマークで最先端の性能を達成するとともに、リアルタイム推論速度（>20 FPS）を維持できるか？

主な発見

• OTB2015では、ResNet-50を用いたベースラインSiamFC++（AUC: 0.675）を4.0%上回る、新記録のAUCスコア0.715を達成した。
• VOT2018では、RPTが最高のロバストネス（R=0.103）とEAO（0.510）を達成し、DRNetおよびD3Sを両指標で上回った。
• VOT2019では、EAOが0.417、精度が0.623を記録し、DRNet（EAO: 0.395）および他の最先端手法を上回った。
• アブレーションスタディにより、ポイントセット表現、オンライン分類、マルチレベル集約の各コンポonentが性能向上に段階的に寄与していることが確認され、ポイントセット表現の導入だけでAUCスコアが+2.5%向上した。
• マスクアノテーション付きのVOT2020評価では、強化されたRPTフレームワークがEAO 0.539を達成し、新しいプロトコル下でも優れた性能を示した。
• すべてのベンチマークで20 FPSを超える速度で実行され、精度を犠牲にすることなくリアルタイム推論能力を確認した。