[論文レビュー] Fully Convolutional Online Tracking

Yutao Cui, Cheng Jiang+2 more|arXiv (Cornell University)|Apr 15, 2020

Video Surveillance and Tracking Methods被引用数 15

ひとこと要約

本論文では、ターゲットフィルタベースのアーキテクチャとアンカーレスボックス回帰、マルチスケール特徴マッピングを組み合わせることで、分類と回帰の両ブランチにおけるオンライン学習を可能にする、完全畳み込み型オンライン追跡フレームワークであるFCOTを提案する。新規のオンライン回帰モデルジェネレータ（RMG）を用いることで、オンライン学習が実現される。7つのベンチマークで最先端の性能を達成し、VOT2018では72.6%のAUC、UAV123では65.6%のAUCを記録した。また、40 FPSを超えるリアルタイム動作を実現している。

ABSTRACT

Online learning has turned out to be effective for improving tracking performance. However, it could be simply applied for classification branch, but still remains challenging to adapt to regression branch due to its complex design and intrinsic requirement for high-quality online samples. To tackle this issue, we present the fully convolutional online tracking framework, coined as FCOT, and focus on enabling online learning for both classification and regression branches by using a target filter based tracking paradigm. Our key contribution is to introduce an online regression model generator (RMG) for initializing weights of the target filter with online samples and then optimizing this target filter weights based on the groundtruth samples at the first frame. Based on the online RGM, we devise a simple anchor-free tracker (FCOT), composed of a feature backbone, an up-sampling decoder, a multi-scale classification branch, and a multi-scale regression branch. Thanks to the unique design of RMG, our FCOT can not only be more effective in handling target variation along temporal dimension thus generating more precise results, but also overcome the issue of error accumulation during the tracking procedure. In addition, due to its simplicity in design, our FCOT could be trained and deployed in a fully convolutional manner with a real-time running speed. The proposed FCOT achieves the state-of-the-art performance on seven benchmarks, including VOT2018, LaSOT, TrackingNet, GOT-10k, OTB100, UAV123, and NFS. Code and models of our FCOT have been released at: \url{https://github.com/MCG-NJU/FCOT}.

研究の動機と目的

• 視覚追跡における回帰ブランチへのオンライン学習の適用に課題があること、特に複雑な設計と低品質なサンプルへの感受性が問題であることを解決すること。
• 分類と回帰を完全畳み込み型でエンドツーエンド学習可能なフレームワークに統合し、効率性と精度を向上させること。
• オンライン回帰における誤差蓄積を軽減するため、動的モデル重み生成と真値補正メカニズムを導入すること。
• 粗くから細かく融合するマルチスケール分類ブランチを用いて、類似物体の混同に対する耐性を高めること。
• 遮蔽、変形、スケール変動といった困難な状況下でも高精度な追跡を達成すること。

提案手法

• オンラインサンプルを用いて動的にモデル重みを生成し、最初のフレームからの真値アノテーションを用いて補正する、オンライン回帰モデルジェネレータ（RMG）を導入する。
• 高解像度特徴予測を可能にする、学習可能なアップサンプリングデコーダを備えた完全畳み込みエンコーダデコーダアーキテクチャを採用する。
• アンカーボックスに依存しないアーキテクチャとして、境界ボックスの4辺のオフセットを直接予測するアンカーレス回帰ヘッドを設計する。
• 異なる特徴層からのスコアマップを用いて、類似物体に対する識別能を向上させるマルチスケール分類ブランチを構築する。
• メタラーニングにインspiredされた最適化戦略を採用し、オンライン追跡中に回帰ヘッドの重みの半分のみを更新することで、静的および適応的要素のバランスを取る。
• 分類器と回帰器ヘッドの両方を統合的にオンライン最適化するメカニズムを導入し、ターゲット固有の外観変化にエンドツーエンドで適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な設計とノイズの多いサンプルへの感受性があるにもかかわらず、視覚追跡における回帰ブランチへのオンライン学習を効果的に拡張できるか？
• RQ2 リアルタイム推論速度を維持しつつ、オンライン回帰における誤差蓄積をどのように軽減できるか？
• RQ3 ターゲットフィルタベースの設計を備えた完全畳み込みアーキテクチャは、従来のアンカーレストラッカーと比較して優れた追跡精度と耐性を達成できるか？
• RQ4 類似する干渉要因が存在する状況下で、マルチスケール分類はどの程度追跡の耐性を向上させるか？
• RQ5 提案されたオンライン回帰モデルジェネレータは、多様な課題を有するさまざまなベンチマークで一貫した性能向上をもたらすか？

主な発見

• VOT2018ベンチマークにおいて、FCOTは72.6%の成功スコアと82.9%の精度スコアを達成し、DiMPやSiamFC++を2%以上上回った。
• UAV123データセットでは、65.6%のAUCと87.3%の精度を達成し、以前の最先端手法を上回った。
• OTB100では、69.9%の成功スコアと92.2%の精度を記録し、DiMPに対してそれぞれ0.9%および1.9%の相対的向上を示した。
• NFSデータセットでは、62.7%のAUCと75.4%の精度を達成し、アンカーレストラッカーの中で最高水準だった。
• 可視化結果から、FCOTはDiMPと比較してより正確なバウンディングボックスを生成し、類似物体との識別能が優れていることが確認された。
• アブレーションスタディの結果、マルチスケール分類戦略は、深層層による耐性向上と浅層層による精度向上を両立させ、両方を統合した際に最適な性能が得られることを示した。