[論文レビュー] Spatial-Temporal Relation Networks for Multi-Object Tracking

Jiarui Xu, Yue Cao+2 more|arXiv (Cornell University)|Apr 25, 2019

Video Surveillance and Tracking Methods参考文献 57被引用数 27

ひとこと要約

本稿では、マルチオブジェクトトラッキングのための統合的でエンド・ツー・エンドのディープラーニングフレームワークである空間的時間的関係ネットワーク（STRN）を提案する。STRNは、空間的・時間的領域にわたり、外観、位置、トポロジーの手がかりを統合的にモデル化する。関係ネットワークを空間的時間的領域に拡張することで、コンテンツに応じた集約により特徴表現を向上させ、公開検出結果を用いたオンライン設定下でMOT15–17ベンチマークで最先端の性能を達成した。

ABSTRACT

Recent progress in multiple object tracking (MOT) has shown that a robust similarity score is key to the success of trackers. A good similarity score is expected to reflect multiple cues, e.g. appearance, location, and topology, over a long period of time. However, these cues are heterogeneous, making them hard to be combined in a unified network. As a result, existing methods usually encode them in separate networks or require a complex training approach. In this paper, we present a unified framework for similarity measurement which could simultaneously encode various cues and perform reasoning across both spatial and temporal domains. We also study the feature representation of a tracklet-object pair in depth, showing a proper design of the pair features can well empower the trackers. The resulting approach is named spatial-temporal relation networks (STRN). It runs in a feed-forward way and can be trained in an end-to-end manner. The state-of-the-art accuracy was achieved on all of the MOT15-17 benchmarks using public detection and online settings.

研究の動機と目的

• マルチオブジェクトトラッキングのための、一貫性のある類似度測定に、異種の手がかり（外観、位置、トポロジー）を統合する課題に取り組むこと。
• 空間的および時間的領域の両方における依存関係をモデル化する、統合的でエンド・ツー・エンドで学習可能なフレームワークを開発すること。
• 空間的・時間的領域における構造的推論を通じて、トラックレット・オブジェクトペアの特徴表現を強化することで、トラッキング精度を向上させること。
• すべての手がかりを1つのフォワード・スルー・アーキテクチャに統合することにより、特定の手がかり用ネットワークや複雑な学習スキームの必要性を排除すること。

提案手法

• STRNは、オブジェクト同士の関係ネットワークを空間的時間的領域に拡張し、フレーム間で外観およびトポロジー特徴を統合的にモデル化可能にした。
• 空間的領域では、コンテンツに応じた注目機構を用いて、隣接オブジェクトからのコンテキストを集約することで、オブジェクト外観特徴を強化した。
• 時間的領域では、時間的関係モジュールが重み付き特徴統合を学習し、過去のフレームからの情報を集約することで、トラックレット特徴を更新した。
• 最終的な類似度スコアは、精練されたオブジェクト特徴と集約されたトラックレット特徴を連結し、その後に最終分類器を適用することで計算された。
• ネットワーク全体は、標準的なバックプロパゲーションを用いてエンド・ツー・エンドで学習され、補助的监督や複雑な後処理の必要がなかった。
• 重要な設計選択として、一元特徴、コサイン類似度、運動特徴を組み合わせたトラックレット・オブジェクトペアの特徴表現を構築し、識別力の向上を図った。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、マルチオブジェクトトラッキングにおいて、異種の手がかり（外観、位置、トポロジー）を効果的に統合できるか？
• RQ2 関係ネットワークを用いて空間的・時間的依存関係をモデル化することで、長期間トラッキングにおける類似度測定がどのように向上するか？
• RQ3 トラックレット・オブジェクトペアの異なる特徴表現が、トラッキング精度に与える影響は何か？
• RQ4 1つのネットワークでエンド・ツー・エンド学習することで、特定の手がかり用または段階的アプローチを上回る性能が得られるか？
• RQ5 提案された空間的時間的関係モジュールは、平均プーリングやマックスプーリングといった単純な集約手法と比較して、どのように優れているか？

主な発見

• STRNは、オンライン設定下でMOT17ベンチマークにおいて50.9のSOTA MOTAを達成し、すべての先行オンライン手法を上回った。
• MOT15では、MOTAが48.5を記録し、前回のSOTA手法を1.4ポイント上回った。
• MOT16では、MOTAが53.9を達成し、多様なトラッキングシナリオにわたる強力な一般化能力を示した。
• アブレーションスタディの結果、一元的外観特徴とコサイン類似度特徴を組み合わせることで、外観特徴のみを使用した場合に比べてMOTAが10.0ポイント向上した。
• 空間的時間的関係モジュールは、合計で3.9 MOTAポイントの寄与を示し、空間的推論で2.5ポイント、時間的推論で1.4ポイントの向上を達成し、平均プーリングやマックスプーリングのベースラインを著しく上回った。
• 位置特徴を統合したことで、IDスイッチ数が515から129に減少し、アイデンティティの一貫性が向上したことが示された。