[論文レビュー] 1st Place Solution to ECCV-TAO-2020: Detect and Represent Any Object for Tracking

Fei Du, Bo Xu+4 more|arXiv (Cornell University)|Jan 20, 2021

Video Surveillance and Tracking Methods参考文献 13被引用数 12

ひとこと要約

本論文はECCV-TAO-2020トラッキングチャレンジで1位を獲得したソリューションを提示しており、1200種類以上のカテゴリにまたがる任意のオブジェクトを追跡可能な、カテゴリに依存しない外観特徴を用いた検出・表現フレームワークを提案している。最先端の検出モデル（DetectoRSにSENet-154とBAGSを組み合わせたもの）を活用し、SOTの20万件のトラジェクトリーデータを用いてReIDモデルを訓練することで、1 FPSの推論とアンサンブル、および後処理を適用した結果、長尾分布・オープンボリュームトラッキングにおいて、従来のMOTベースラインを著しく上回る57.72 mAPを達成した。

ABSTRACT

We extend the classical tracking-by-detection paradigm to this tracking-any-object task. Solid detection results are first extracted from TAO dataset. Some state-of-the-art techniques like extbf{BA}lanced- extbf{G}roup extbf{S}oftmax ( extbf{BAGS}\cite{li2020overcoming}) and DetectoRS\cite{qiao2020detectors} are integrated during detection. Then we learned appearance features to represent any object by training feature learning networks. We ensemble several models for improving detection and feature representation. Simple linking strategies with most similar appearance features and tracklet-level post association module are finally applied to generate final tracking results. Our method is submitted as extbf{AOA} on the challenge website. Code is available at https://github.com/feiaxyt/Winner_ECCV20_TAO.

研究の動機と目的

• TAOデータセットにおける1200種類以上の長尾カテゴリにまたがる任意のオブジェクトを追跡する課題に取り組むこと。これは、従来のMOTフレームワークの範囲を超えている。
• LVIS v1.0で微調整し、TAOのアノテーションスキームに合わせてラベルマッピングを適用することで、希少で長尾なカテゴリの検出リ콜を向上させること。
• 照明、視点、変形の変化にかかわらず多様なオブジェクト外観を一致できる、堅牢なカテゴリに依存しない外観特徴表現を開発すること。
• 低フレームレート・高可変性環境におけるリアルタイムトラッキングの限界を、1 FPSの推論と外観のみのリンクによって克服すること。
• モデルアンサンブルとトラジェクトリーレベルの後処理連携（PA）モジュールを用いて、トラジェクトリを統合・最適化することで、トラッキング性能を向上させること。

提案手法

• MMDetectionを用いて2つの検出モデルを訓練：1つはDetectoRSにSENet-154バックボーンを組み合わせ、LVIS v1.0でBAGS損失を用いて微調整したモデル。もう1つはオープンソースのBAGSを用いたモデル。
• synsetフィールドを介してLVIS v1.0からv0.5へのラベルマッピングを適用し、検出ラベルをTAOのアノテーションスキームに一致させる。
• SOTデータセット（YouTube-BB、GOT-10k、ImageNet VID）の20万件のトラジェクトリを用いて、2つのReIDモデルを訓練し、カテゴリに依存しない外観特徴を学習する。
• トラッキング時に2つのReIDモデルの特徴を連結することで、識別力と一致精度を向上させる。
• 誤差蓄積を低減するため1 FPSの推論パイプラインを採用。幾何学的依存手法（例：SORT や Min-Cost Flow）に代わり、特徴ベースのリンクを採用する。
• 非重複トラジェクトリを平均外観特徴を用いて再リンクする、トラジェクトリーレベルの後処理連携（PA）モジュールを適用。計算コストが低く抑えられつつmAPの向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 カテゴリに依存しない外観特徴を用いた検出・表現パイプラインは、オープンボリュームで長尾分布を示すTAOデータセットにおいて、従来のMOTフレームワークを上回る性能を発揮できるか？
• RQ2 検出モデルとReIDモデルのアンサンブルは、任意のオブジェクトを追跡する際のリコールとmAPを向上させるのにどの程度効果的か？
• RQ3 低フレームレートで複雑な動画シーケンスが発生する状況下で、外観のみのリンクを用いた1 FPS推論は、高フレームレートで幾何学的依存手法を用いるトラッキングよりも優れた結果をもたらすか？
• RQ4 SOTデータで学習したReIDモデルは、TAOにおける多様なオブジェクトカテゴリにどの程度一般化できるか？
• RQ5 オラクルトラジェクトリを用いた場合の性能上限は何か？実用的なシステムはその上限にどの程度近づけるか？

主な発見

• LVIS v1.0でBAGS損失を用いて微調整した検出モデルは、LVIS v0.5の検証セットで39.70 mAPを達成し、ベースラインを著しく上回った。
• 1 FPSでModel-1-482（482個のTAOカテゴリにフィルタリング済み）のReID特徴を用いることで、mAPをSORT（30 FPS）の14.80から25.53に向上させた。
• Model-1とModel-2の検出結果をアンサンブルし、ReID1+ReID2特徴を1 FPSで使用することで、TAO検証セットのmAPが28.59に上昇した。
• PA後処理モジュールを適用することで、さらにmAPが29.27に向上し、トラジェクトリリンクの改善効果が明確に示された。
• オラクルトラジェクトリを用いた場合、Model-1とModel-2の検出結果を統合することで57.72 mAPを達成した。これは本手法の性能上限を示しており、非常に高い水準である。
• シアンペル型の外観特徴モデルはReIDベースの特徴に比べて性能が劣った。これは、ReIDがオープンボリュームトラッキングに適していることを示唆している。