[論文レビュー] Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

Fan Yang, Shigeyuki Odashima+2 more|arXiv (Cornell University)|Nov 24, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、元のボックスサイズに比例するバッファを用いてマッチング領域を拡張することで、不規則な運動と識別不能な外観を示すオブジェクトの追跡を向上させるための段階的バッファ付きIoU（C-BIoU）トラッカーを提案する。この手法により、フレーム間での幾何的整合性が向上し、DanceTrackで最先端の性能を達成するとともに、CVPR’22およびECCV’22 MOTチャレンジで2位を獲得した。

ABSTRACT

We propose a Cascaded Buffered IoU (C-BIoU) tracker to track multiple objects that have irregular motions and indistinguishable appearances. When appearance features are unreliable and geometric features are confused by irregular motions, applying conventional Multiple Object Tracking (MOT) methods may generate unsatisfactory results. To address this issue, our C-BIoU tracker adds buffers to expand the matching space of detections and tracks, which mitigates the effect of irregular motions in two aspects: one is to directly match identical but non-overlapping detections and tracks in adjacent frames, and the other is to compensate for the motion estimation bias in the matching space. In addition, to reduce the risk of overexpansion of the matching space, cascaded matching is employed: first matching alive tracks and detections with a small buffer, and then matching unmatched tracks and detections with a large buffer. Despite its simplicity, our C-BIoU tracker works surprisingly well and achieves state-of-the-art results on MOT datasets that focus on irregular motions and indistinguishable appearances. Moreover, the C-BIoU tracker is the dominant component for our 2-nd place solution in the CVPR'22 SoccerNet MOT and ECCV'22 MOTComplex DanceTrack challenges. Finally, we analyze the limitation of our C-BIoU tracker in ablation studies and discuss its application scope.

研究の動機と目的

• 従来のMOT手法が外観特徴の信頼性の低さや運動推定誤差により失敗する、識別不能な外観と不規則な運動を示す複数オブジェクトの追跡という課題に対処すること。
• 急激な運動や不正確な運動予測によって生じるフレーム間での検出領域とトラックの重複なしによる追跡失敗を軽減すること。
• マッチング領域の過剰拡張のリスクを抑えつつ、不規則な運動に強く対応するための段階的マッチング戦略を用いること。
• 挑戦的な運動および外観条件を強調するデータセットで、既存手法を上回る性能を示す、シンプルだが効果的なトラッカーを開発すること。

提案手法

• 元のボックスサイズに比例するバッファを追加することで、境界ボックスの空間的マッチング領域を拡張するが、中心座標、スケール、アスペクト比は変更しないバッファ付きIoU（BIoU）を導入すること。
• BIoUを用いて、重複のない検出領域とトラック間の時空間的類似度を生成し、IoUが重複がないために失敗する状況でも直接的なマッチングを可能にすること。
• 段階的マッチング戦略を実装する：まず、小さなバッファを用いて生存中のトラックと検出領域をマッチングさせ、誤検出を低減する。その後、未マッチングペアをより大きなバッファで再マッチングすることで、見逃された関連付けを回復する。
• BIoUによる幾何的整合性を活用し、運動推定バイアスを補償することで、急激な加速や旋回に対しても耐性を高める。
• 外観特徴が利用可能である場合にのみそれを活用するが、主に幾何的マッチングに依存する、軽量でオンラインなMOTフレームワークにBIoUを統合すること。
• YOLOXが生成する検出結果を入力とすることで、標準的な検出パイプラインと互換性を持たせ、最先端手法との公平な比較を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 バッファ付きIoUによるマッチング領域の拡張は、不規則な運動と識別不能な外観を示すオブジェクトの追跡性能を向上させるか？
• RQ2 異なるバッファサイズを用いた段階的マッチングは、マッチング精度と過剰拡張リスクのトレードオフにどのように影響するか？
• RQ3 C-BIoUトラッカーは、高い運動の不規則性と外観の曖昧性を示すデータセットで、既存のMOT手法をどの程度上回るか？
• RQ4 特に高い誤検出率および誤検出率を示す検出品質の低下下でも、C-BIoUトラッカーの耐性はどの程度か？

主な発見

• オラクル検出結果を用いたDanceTrack検証セットにおいて、C-BIoUトラッカーはHOTAスコア81.7を達成し、OC-SORT（79.1）およびベースラインIoUトラッカー（76.6）を大きく上回った。
• 同じデータセットにおいて、C-BIoUトラッカーはベースラインIoUトラッカーに対してIDF1で4.9ポイント、OC-SORTに対して4.4ポイント向上させ、優れた追跡精度を示した。
• 20％の検出ノイズ条件下でも、C-BIoUトラッカーはHOTA 62.3を維持し、IoUトラッカー（57.6）およびOC-SORT（61.4）を上回り、中程度のノイズに強いことを示した。
• 40％の検出ノイズ条件下では、C-BIoUトラッカーの性能はHOTA 29.2に低下し、IoUトラッカー（38.3）を下回った。これは極端な検出ノイズ下での耐性の低下を示している。
• C-BIoUトラッカーは、CVPR’22 SoccerNet MOTおよびECCV’22 MOTComplex DanceTrackチャレンジで2位を獲得し、実世界での有効性を確認した。
• アブレーションスタディにより、バッファ比0.2が最良のバランスを提供することが確認された。これ以上の比（例：0.4）では、過剰拡張と誤マッチの増加により性能が低下した。