[論文レビュー] Learning Non-Uniform Hypergraph for Multi-Object Tracking

Longyin Wen, Dawei Du+3 more|arXiv (Cornell University)|Dec 10, 2018

Video Surveillance and Tracking Methods参考文献 23被引用数 9

ひとこと要約

本論文は、トラックレット間の可変順序依存関係をモデル化する非一様ハイパーグラフを用いた、ニア・オンラインなマルチオブジェクトトラッキング（MOT）手法を提案する。構造的サポートベクターマシン（SSVM）を用いてハイパーエッジの重みを学習することで、適応的なモデリングが可能となる。本手法は、ハイパーグラフ内での密構造の効率的探索により、頑健なトラジェクトリを形成することで、PETS09、ParkingLot、SubwayFace、MOT16ベンチマークで最先端の性能を達成した。

ABSTRACT

The majority of Multi-Object Tracking (MOT) algorithms based on the tracking-by-detection scheme do not use higher order dependencies among objects or tracklets, which makes them less effective in handling complex scenarios. In this work, we present a new near-online MOT algorithm based on non-uniform hypergraph, which can model different degrees of dependencies among tracklets in a unified objective. The nodes in the hypergraph correspond to the tracklets and the hyperedges with different degrees encode various kinds of dependencies among them. Specifically, instead of setting the weights of hyperedges with different degrees empirically, they are learned automatically using the structural support vector machine algorithm (SSVM). Several experiments are carried out on various challenging datasets (i.e., PETS09, ParkingLot sequence, SubwayFace, and MOT16 benchmark), to demonstrate that our method achieves favorable performance against the state-of-the-art MOT methods.

研究の動機と目的

• 遮蔽やごみだらけのシーンにおけるトラックレット間の複雑な高次依存関係をモデル化する点で、従来のMOT手法の限界を解消すること。
• 固定次数のハイパーグラフの硬直性を克服し、多様な依存パターンを捉えるために可変次数のハイパーエッジを可能にすること。
• 精度と計算効率のバランスを取った、効率的でニア・オンラインなトラッキングフレームワークを開発すること。
• 手動で設定するのではなく、データから自動的にハイパーエッジの重みを学習すること。
• 欠落検出や外観の混同といった困難な状況におけるトラッキングの頑健性を向上させること。

提案手法

• トラックレットをノードとして非一様ハイパーグラフにモデル化し、次数が異なるハイパーエッジが複数オブジェクトの依存関係を符号化する。
• 構造的サポートベクターマシン（SSVM）を用いて、学習データから次数の異なるハイパーエッジの重みを自動で学習する。
• トラジェクトリ形成のための非一様ハイパーグラフ上での密構造探索問題を効率的に解く近似アルゴリズムを提案する。
• ニア・オンライン戦略を採用：一時的なフレーム窓を処理して短いトラックレットを生成し、それらを関連付けて完全なトラジェクトリを形成する。
• 検出の表現として、微調整されたGoogLeNetベースのセット対セット認識モデルからのCNN特徴を統合する。
• 変数の更新に制約を課した条件下で、目的関数を最適化するための二次計画法の定式化を適用する。

実験結果

リサーチクエスチョン

• RQ1 非一様ハイパーグラフモデルは、複雑なトラッキングシナリオにおけるトラックレット間の多様な依存パターンを効果的に捉えることができるか？
• RQ2 SSVMでハイパーエッジの重みを学習することで、固定値または経験的に設定された重みと比較して、トラッキング性能が向上するか？
• RQ3 非一様ハイパーグラフ上での密構造探索とニア・オンライン戦略を組み合わせることで、計算効率を維持しながら高い精度を達成できるか？
• RQ4 遮蔽やごみだらけの状況を含むベンチマークデータセットにおいて、本手法は最先端のMOTアプローチと比較して優れているか？
• RQ5 2次以上の高次依存関係をモデル化することで、IDスイッチの削減とトラッキングの頑健性向上にどのような影響を与えるか？

主な発見

• 提案された非一様ハイパーグラフトラッカーは、PETS09、ParkingLot、SubwayFace、MOT16ベンチマークで最先端の性能を達成した。
• 高次依存関係をモデル化することで、遮蔽やごみだらけのシーンにおけるIDスイッチを顕著に低減し、トラッキング精度を向上させた。
• SSVMでハイパーエッジの重みを学習することで、固定値または手動で調整された重み設定と比較して、より優れた一般化性能と適応性を示した。
• ニア・オンライン戦略により、局所的な時間窓のみを一度に処理することで、リアルタイム性能を維持しながら高い精度を達成した。
• MOT16およびマルチペデストリアンデータセットにおける定性的な結果から、深刻な遮蔽下でも一貫性があり頑健なトラッキングが実現した。
• アブレーションスタディの結果、学習済み重みを備えた非一様ハイパーグラフ構造が、均一なハイパーグラフやペアワイズ手法を上回ることを確認した。