[論文レビュー] LaSOT: A High-quality Large-scale Single Object Tracking Benchmark

Heng Fan, Hexin Bai+12 more|arXiv (Cornell University)|Sep 8, 2020

Video Surveillance and Tracking Methods参考文献 90被引用数 14

ひとこと要約

LaSOTは、85種類の多様なオブジェクトクラスにわたる387万フレーム以上の密なアノテーションを含む、1,550本の動画を備えた大規模で高品質な単一オブジェクト視覚追跡ベンチマークを導入した。2つの評価プロトコル（完全被覆とワンショット）により、長期追跡の堅牢な評価が可能であり、特に未知のターゲットや長時間のシーケンスを扱う際の現在のトラッカーの大きな改善余地が示された。

ABSTRACT

Despite great recent advances in visual tracking, its further development, including both algorithm design and evaluation, is limited due to lack of dedicated large-scale benchmarks. To address this problem, we present LaSOT, a high-quality Large-scale Single Object Tracking benchmark. LaSOT contains a diverse selection of 85 object classes, and offers 1,550 totaling more than 3.87 million frames. Each video frame is carefully and manually annotated with a bounding box. This makes LaSOT, to our knowledge, the largest densely annotated tracking benchmark. Our goal in releasing LaSOT is to provide a dedicated high quality platform for both training and evaluation of trackers. The average video length of LaSOT is around 2,500 frames, where each video contains various challenge factors that exist in real world video footage,such as the targets disappearing and re-appearing. These longer video lengths allow for the assessment of long-term trackers. To take advantage of the close connection between visual appearance and natural language, we provide language specification for each video in LaSOT. We believe such additions will allow for future research to use linguistic features to improve tracking. Two protocols, full-overlap and one-shot, are designated for flexible assessment of trackers. We extensively evaluate 48 baseline trackers on LaSOT with in-depth analysis, and results reveal that there still exists significant room for improvement. The complete benchmark, tracking results as well as analysis are available at http://vision.cs.stonybrook.edu/~lasot/.

研究の動機と目的

• ディープラーニング時代における大規模で高品質な視覚追跡ベンチマークの不足を解消すること。
• 延長された動画シーケンスを用いた長期追跡アルゴリズムのトレーニングと評価に特化したプラットフォームを提供すること。
• 従来のベンチマークの限界（小規模、疎なまたは半自動アノテーション、短い動画長）を克服すること。
• 正確なフレーム単位のアノテーションと多様なチャレンジ要因を提供することで、トラッカーの公平で信頼性の高い評価を可能にすること。
• 各動画に対して言語的仕様を導入することで、将来的な研究を促進し、言語誘導型追跡の探求を可能にすること。

提案手法

• 85種類のオブジェクトクラスからなる1,550本の動画を収集し、各フレームに対して手動でバウンディングボックスをアノテーションした。
• 柔軟なベンチマーキングを可能にするために、2つの評価プロトコル（完全被覆：標準追跡、ワンショット：ゼロショット一般化）を設計した。
• 視覚的外観と言語的文脈を結びつけるために、各動画に自然言語による記述をアノテーションした。
• 先行データセットで用いられる半自動的または疎なラベル付け手法を避けて、手動によるラベリングにより高品質なアノテーションを確保した。
• 実世界の課題に耐える長期追跡性能の評価を可能にするために、長時間の動画シーケンス（平均約2,500フレーム）を選定した。
• コミュニティ利用を目的として、完全なベンチマーク、追跡結果、分析を公開するためのパブリックリポジトリを提供した。

実験結果

リサーチクエスチョン

• RQ1 大規模で密なアノテーションを備えたベンチマークは、視覚追跡評価の信頼性と公平性を向上させ得るか？
• RQ2 現在の最先端トラッカーは、複雑な外観変化とターゲットの再出現を伴う長期追跡において、どの程度の性能を示すか？
• RQ3 動画コンテンツの言語的記述が、追跡性能の向上や新たなモデリングアプローチの実現にどの程度寄与するか？
• RQ4 モデル更新戦略は、特にワンショットまたは長期追跡シナリオにおいて、トラッカーのロバスト性に顕著な影響を及えるか？
• RQ5 より深いニューラルネットワークバックボーンは、ワンショットプロトコルにおける未知のターゲットに対する追跡性能にどのように影響するか？

主な発見

• LaSOTには387万フレーム以上の正確なアノテーションを備えた1,550本の動画が含まれており、これは現在知られている最大の密なアノテーション追跡ベンチマークである。
• ワンショットプロトコルにおいて、ResNet-50を用いたDiMPは0.392のスコアを達成し、AlexNetを用いたSiamRPN++（0.245）を顕著に上回った。これはゼロショット一般化に向けた深層特徴の重要性を示している。
• より深いバックボーン（ResNet-50）は、すべてのトラッカーにおいて性能向上をもたらした。特にSiamRPN++では、完全被覆評価においてAlexNet搭載時（0.433）と比較して0.495のスコアを記録した。
• モデル更新を実装したトラッカー（例：DiMP, LTMU）は、更新なしのトラッカー（GlobalTrack）と比較して、完全被覆評価で0.560のスコアを達成し、優れた性能を示した。
• ResNet-18からAlexNetへの変更に伴う性能低下は、ワンショットプロトコルで0.071に及ぶと強く現れ、深層特徴が未知ターゲットへの一般化に不可欠であることを示している。
• LaSOT上で48種類のトラッカーを広範に評価した結果、特に長期追跡およびゼロショット追跡のシナリオにおいて、さらなる改善の余地が顕著に認められた。