[論文レビュー] Multi-hierarchical Independent Correlation Filters for Visual Tracking

Shuai Bai, Zhiqun He+4 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 21

ひとこと要約

本論文では、マルチレベルの深層特徴を個別に処理する独立した相関フィルターブランチを備えた、新たな視覚追跡フレームワークであるMulti-hierarchical Independent Correlation Filters (MHIT) を提案する。この手法は、遮蔽を扱うために運動推定を統合し、適応的融合を用いて耐性を向上させている。本手法は最先端の性能を達成しており、VOT2017でトップトラッカー比で20.1%の相対的改善を示し、VOT2018でも新たなSOTA結果を達成した。

ABSTRACT

For visual tracking, most of the traditional correlation filters (CF) based methods suffer from the bottleneck of feature redundancy and lack of motion information. In this paper, we design a novel tracking framework, called multi-hierarchical independent correlation filters (MHIT). The framework consists of motion estimation module, hierarchical features selection, independent CF online learning, and adaptive multi-branch CF fusion. Specifically, the motion estimation module is introduced to capture motion information, which effectively alleviates the object partial occlusion in the temporal video. The multi-hierarchical deep features of CNN representing different semantic information can be fully excavated to track multi-scale objects. To better overcome the deep feature redundancy, each hierarchical features are independently fed into a single branch to implement the online learning of parameters. Finally, an adaptive weight scheme is integrated into the framework to fuse these independent multi-branch CFs for the better and more robust visual object tracking. Extensive experiments on OTB and VOT datasets show that the proposed MHIT tracker can significantly improve the tracking performance. Especially, it obtains a 20.1% relative performance gain compared to the top trackers on the VOT2017 challenge, and also achieves new state-of-the-art performance on the VOT2018 challenge.

研究の動機と目的

• 従来の相関フィルターに基づくトラッカーにおける特徴の重複と運動モデリングの欠如を解消すること。
• 視覚追跡における遮蔽、スケール変化、外観変化に対する耐性を向上させること。
• 特徴統合に起因する冗長性を引き起こさずに、CNNからの階層的深層特徴を効果的に活用すること。
• 追跡精度と安定性を向上させるマルチブランチで適応的融合を実現するメカニズムを設計すること。
• 標準的な視覚追跡ベンチマークで新たな最先端性能を達成すること。

提案手法

• 時間的連続性を用いてターゲットの運動を予測する運動推定モジュールを導入し、部分的遮蔽に対する耐性を向上させる。
• 事前学習済みのCNN（例：ResNet、DenseNet）からマルチ階層の深層特徴を抽出し、多様な意味的レベルを表現する。
• 各階層特徴を個別に処理するための別々の相関フィルター・ブランチを設け、特徴の重複と次元の問題を回避する。
• 各ブランチ内でオンライン学習を適用し、時系列データに基づいてフィルターのパラメータを適応的に更新する。
• 信頼性と信頼性に基づいて、異なるブランチからの出力を動的に重み付ける適応的マルチブランチ統合戦略を採用する。
• 運動推定によって定義されるサーチ領域を用いることで、計算コストを低減し、局所化の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 相関フィルター内の階層的深層特徴を個別に処理することで、冗長性を低減し、追跡の耐性を向上させられるか？
• RQ2 運動推定を統合することで、部分的遮蔽や変形状況下での性能がどのように向上するか？
• RQ3 複数の独立した相関フィルターブランチの適応的統合は、固定重みまたは連結統合戦略を上回る性能を発揮できるか？
• RQ4 より深いバックボーンネットワーク（例：ResNet、SE-ResNet）を独立フィルタリングと組み合わせることで、どの程度追跡性能が向上するか？
• RQ5 提案されたMHITフレームワークは、OTBやVOTといった標準的な視覚追跡ベンチマークで最先端の性能を達成できるか？

主な発見

• MHITはVOT2017チャレンジにおいてトップトラッカー比で20.1%の相対的性能向上を達成し、顕著な改善を示した。
• 本手法はVOT2018ベンチマークでも新たな最先端性能を達成し、その耐性と一般化能力を確認した。
• SE-ResNet50を用い、特定の特徴（例：Res3dおよびConv1x）を選択することで、EAOが0.388にまで向上し、VGG-MやResNet50のみを用いたモデルを上回った。
• 運動推定モジュールは、短時間の部分的遮蔽下でも追跡性能を向上させ、図10で視覚的にも確認された。
• 適応的マルチブランチ統合機構により、ベースライン比でEAOが8.5%向上し、その有効性が裏付けられた。
• 各ブランチごとの独立学習により特徴の冗長性が低減され、隣接層を統合すると干渉が生じ、性能が低下する傾向にあった。