[論文レビュー] Tracking by Instance Detection: A Meta-Learning Approach

Guangting Wang, Chong Luo+3 more|arXiv (Cornell University)|Apr 2, 2020

Video Surveillance and Tracking Methods参考文献 43被引用数 15

ひとこと要約

この論文は、モデルに依存しないメタラーニング（MAML）を用いて一般物体検出器を高性能トラッカーに変換するメタラーニングフレームワークを提案する。MAMLで初期化された検出器を、1枚の初期フレームを用いてオンラインで適応させることで、複数のベンチマークで最先端の性能を達成した。Retina-MAMLはOTB-100でAUC 0.712を達成し、FCOS-MAMLはTrackingNetでAUC 0.757を達成した。

ABSTRACT

We consider the tracking problem as a special type of object detection problem, which we call instance detection. With proper initialization, a detector can be quickly converted into a tracker by learning the new instance from a single image. We find that model-agnostic meta-learning (MAML) offers a strategy to initialize the detector that satisfies our needs. We propose a principled three-step approach to build a high-performance tracker. First, pick any modern object detector trained with gradient descent. Second, conduct offline training (or initialization) with MAML. Third, perform domain adaptation using the initial frame. We follow this procedure to build two trackers, named Retina-MAML and FCOS-MAML, based on two modern detectors RetinaNet and FCOS. Evaluations on four benchmarks show that both trackers are competitive against state-of-the-art trackers. On OTB-100, Retina-MAML achieves the highest ever AUC of 0.712. On TrackingNet, FCOS-MAML ranks the first on the leader board with an AUC of 0.757 and the normalized precision of 0.822. Both trackers run in real-time at 40 FPS.

研究の動機と目的

• 最小限のデータで一般物体検出器を特定のインスタンスに効率的に適応させる課題に対処すること。
• トラッカーにおいてテンプレートベースやデュアルブランチアーキテクチャを排除し、トラッキングをインスタンス検出として扱うこと。
• 過学習を避けるために、1枚の初期フレームのみを用いて新しいターゲットに迅速に適応できること。
• メタラーニングを活用して、検出器を多様な視覚的トラッキングドメインに一般化できる初期化にすること。
• 最新の検出器の完全なアーキテクチャとコンponentsを維持しながら、競争力のある性能を達成するプラグアンドプレイ型トラッカーを構築すること。

提案手法

• 標準的な勾配降下法で学習された一般物体検出器（例：RetinaNet や FCOS）をベースモデルとして採用する。
• 大規模なトラッキングシーケンスのセットを用いて、オフラインの事前学習段階でモデルに依存しないメタラーニング（MAML）を適用し、良い初期化を学習する。
• 勾配ベースの適応の表現力を高めるために、MAMLにキーワイズの学習率を導入する。
• テストシーケンスの最初のフレームのみを用いて、数ステップの勾配更新によりオンラインドメイン適応を実行し、検出器を新しいインスタンスに適応させる。
• トラッキング中に追加のフレームを用いて検出器を更新することで、段階的な適応を可能にし、耐性を向上させる。
• 分類と回帰ヘッドの両方で共有されたバックボーンブロック（例：ResNet-18 block-4）を用いることで、パラメータを削減しつつ性能を損なわない。

実験結果

リサーチクエスチョン

• RQ1 一般物体検出器がメタラーニングを用いて効果的に高性能トラッカーに変換可能か？
• RQ2 MAMLベースの初期化により、1枚のフレームのみを用いて新しいトラッキングインスタンスに迅速かつ堅牢に適応可能か？
• RQ3 最新の検出器アーキテクチャに基づくテンプレートフリーでエンドツーエンドのトラッカーが、既存のSOTAトラッカーを上回る性能を発揮可能か？
• RQ4 異なるシーケンス長さや外観変化を伴うデータセットにおいて、提案手法の性能はどのように変化するか？
• RQ5 より強力なバックボーンを用いることで、長期的かつ困難なシーケンスにおけるトラッカーの性能はどの程度向上するか？

主な発見

• Retina-MAMLはOTB-100でAUC 0.712を達成し、同ベンチマークで報告された最高のAUCである。
• FCOS-MAMLはTrackingNetのリーダーボードで1位となり、AUC 0.757、正規化精度 0.822を達成した。
• Retina-MAMLおよびFCOS-MAMLの両方とも40 FPSでリアルタイム推論を実現し、実用的導入が可能である。
• VOT-2018では、Retina-MAMLがEAO 0.452を達成し、評価対象のトラッカーの中で1位であった。
• FCOS-MAMLはVOT-2019で最高の精度（0.637）を記録し、他のすべてのSOTAトラッカーを上回った。
• より強力なバックボーン（ResNet-50）を用いることで、性能がわずかに向上し、特にVOT-18ではEAOが0.392から0.444に上昇した。