[論文レビュー] SiamCorners: Siamese Corner Networks for Visual Tracking

Kai Yang, Zhenyu He+5 more|arXiv (Cornell University)|Apr 15, 2021

Video Surveillance and Tracking Methods参考文献 61被引用数 7

ひとこと要約

SiamCornersは、修正されたコーナープール層を備えたシアン・ネットワークを用いて、ターゲットの左上および右下のコーナーを直接予測するアンカーフリーなビジョントラッキングフレームワークを提案する。アンカーボックスを排除し、レイヤーごとの特徴量統合とペナルティ関数を組み込むことで、UAV123で61.4% AUCの最先端の精度を達成しながらも、42 FPSの高い速度を維持する。

ABSTRACT

The current Siamese network based on region proposal network (RPN) has attracted great attention in visual tracking due to its excellent accuracy and high efficiency. However, the design of the RPN involves the selection of the number, scale, and aspect ratios of anchor boxes, which will affect the applicability and convenience of the model. Furthermore, these anchor boxes require complicated calculations, such as calculating their intersection-over-union (IoU) with ground truth bounding boxes.Due to the problems related to anchor boxes, we propose a simple yet effective anchor-free tracker (named Siamese corner networks, SiamCorners), which is end-to-end trained offline on large-scale image pairs. Specifically, we introduce a modified corner pooling layer to convert the bounding box estimate of the target into a pair of corner predictions (the bottom-right and the top-left corners). By tracking a target as a pair of corners, we avoid the need to design the anchor boxes. This will make the entire tracking algorithm more flexible and simple than anchorbased trackers. In our network design, we further introduce a layer-wise feature aggregation strategy that enables the corner pooling module to predict multiple corners for a tracking target in deep networks. We then introduce a new penalty term that is used to select an optimal tracking box in these candidate corners. Finally, SiamCorners achieves experimental results that are comparable to the state-of-art tracker while maintaining a high running speed. In particular, SiamCorners achieves a 53.7% AUC on NFS30 and a 61.4% AUC on UAV123, while still running at 42 frames per second (FPS).

研究の動機と目的

• アンカーボックスの設計に起因するハイパーパramータの感受性やトレーニングのアンバランスさといった、アンカーベースのシアントラッカーの限界を解消すること。
• 固定されたスケールとアスペクト比を持つ事前定義されたアンカーボックスの必要性を排除することで、モデルの柔軟性と一般化性能を向上させること。
• バウンディングボックスではなく、ターゲットのコーナーを直接回帰するシンプルでエンドツーエンドでトレーニング可能なトラッキングフレームワークを構築すること。
• レイヤーごとの特徴量統合と、最適なボックス選択に向けた新規のペナルティ関数を導入することで、性能を向上させること。
• マルチスケールテストや複雑なアンカーデザインを用いずに、高い精度と推論速度を両立させること。

提案手法

• 初期のターゲットバウンディングボックスから、上、左、下、右の4つの境界画像を切り出し、シアンネットワークのテンプレート入力として用いる。
• 別々の特徴マップから左上および右下のコーナーのヒートマップとオフセットを予測するために、修正されたコーナープール（MCP）層を用いる。
• 複数の特徴レベル（例：conv4 と conv5）からの予測を統合するレイヤーごとの特徴量統合戦略を導入し、より高いロバスト性を実現する。
• ネットワークのストライドに起因する誤差を軽減するために、オフセット予測ヘッドを採用し、コーナー座標を精緻に修正する。
• 複数のフレーム間で中心座標、幅、高さの変動を制約することで、候補となるコーナーから最適なバウンディングボックスを選択するためのペナルティ関数（PPF）を適用する。
• 大規模な画像ペアを用いて、オンライン適応やアンカーベース分類を避けるために、全ネットワークをオフラインでエンドツーエンドにトレーニングする。

Figure 1: Visualization results of feature maps (keep only the highest score for clarity) of the four boundaries (green box) predicted by Siamese network. The feature maps of the four boundaries are fed to a modified corner pooling layer to predict the corner heatmaps and offsets of the green box. S

実験結果

リサーチクエスチョン

• RQ1 シアンネットワークベースのトラッカーは、アンカーボックスやリージョンプロポーザルネットワークに依存せずに、高い精度を達成できるか？
• RQ2 アンカーベース検出と比較して、コーナーに基づく回帰は、トラッキング精度と推論速度の両面でどのように異なるか？
• RQ3 レイヤーごとの特徴量統合とオフセット精緻化は、コーナー予測性能にどのような影響を及えるか？
• RQ4 提案されたペナルティ関数は、複数の候補コーナーから最適なトラッキングボックスを選択する上で、どの程度有効か？
• RQ5 アンカーフリー設計は、最先端のアンカーベーストラッカーと同等またはそれを上回る性能を維持しながら、高い速度を達成できるか？

主な発見

• SiamCornersはUAV123ベンチマークで61.4% AUCを達成し、単一レイヤー基準モデルを2.7%上回り、最先端のアンカーベーストラッカーと同等の性能を示した。
• エンドツーエンドトレーニングとマルチレベル特徴量統合を経ても、42 FPSという高い推論速度を維持しており、強力な効率性を示した。
• 4つのテンプレート（FRT）設計は、各境界を独立して処理することで、UAV123で6.3%、LaSOTで6.9%の性能向上をもたらし、統合テンプレートに比して優れた性能を発揮した。
• 修正されたコーナープール（MCP）層は、元のコーナープールと比較して、UAV123で2.1%、LaSOTで2.5%の性能向上をもたらした。
• オフセット予測ヘッドは顕著な貢献を示し、UAV123で1.5%、LaSOTで3.9%の性能向上をもたらした。これは、ストライドに起因する誤差を低減する役割が顕著に効果的であることを示している。
• ペナルティ関数（PPF）は、UAV123で1.4%、LaSOTで1.7%の精度向上をもたらし、候補コーナーから最適なバウンディングボックスを選択する有効性を裏付けた。

Figure 2: The overview of our SiamCorners architecture, which includes the Siamese feature extractor followed by the top-left corner and bottom-right corner branches in parallel. $\bigstar$ denotes depth-wise correlation operation. $z_{\theta}(\theta\in\{t,l,b,r\})$ denote the four boundary images c