[論文レビュー] Real-time Online Multi-Object Tracking in Compressed Domain

Qiankun Liu, Bin Liu+3 more|arXiv (Cornell University)|Apr 5, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、検出とデータ関連に使用するためのキーフレームのみをRGBに復元して処理する、共同訓練された外観CNNを用いて圧縮ドメインで動作するリアルタイムオンラインマルチオブジェクトトラッキングシステムOTCDを提案する。非キーフレームは動きベクトルと残差を用いて動きベースの推定によりトラッキングされる。本手法は、最先端のオンライントラッカーと比較して約6倍の高速化を達成しつつ、性能の低下を最小限に抑え、自動運転などのアプリケーションにおけるリアルタイム導入を可能にする。

ABSTRACT

Recent online Multi-Object Tracking (MOT) methods have achieved desirable tracking performance. However, the tracking speed of most existing methods is rather slow. Inspired from the fact that the adjacent frames are highly relevant and redundant, we divide the frames into key and non-key frames respectively and track objects in the compressed domain. For the key frames, the RGB images are restored for detection and data association. To make data association more reliable, an appearance Convolutional Neural Network (CNN) which can be jointly trained with the detector is proposed. For the non-key frames, the objects are directly propagated by a tracking CNN based on the motion information provided in the compressed domain. Compared with the state-of-the-art online MOT methods,our tracker is about 6x faster while maintaining a comparable tracking performance.

研究の動機と目的

• 既存手法における高い計算コストに起因するリアルタイムオンラインマルチオブジェクトトラッキング（MOT）の挑戦に応える。
• フレームの復元をすべて行わず、動きベクトルと残差といった動画圧縮ドメインの特徴を活用して計算量を削減する。
• 検出と外観モデリングを統合的に最適化する統一トラッカーを構築し、データ関連の精度を向上させる。
• キーフレーム／非キーフレームの分離により、フレーム単位の処理を最小限に抑え、リアルタイム性能を実現する。
• 外観特徴と動き伝搬を統合することで、オクルージョン時および再出現時におけるトラッキング精度を維持する。

提案手法

• 時間的冗長性に基づき、フレームをキーフレームと非キーフレームに分類し、検出と外観特徴抽出のためのRGB復元をキーフレームに限定する。
• 検出器と共有される特徴を有する外観CNN（A-CNN）を導入し、データ関連の信頼性を向上させるために共同学習を実施する。
• 圧縮ドメインからの動きベクトル（MVs）と残差を用いて、非キーフレームにおけるオブジェクト伝搬のための動き特徴を抽出する。
• MVsと残差を入力とすることで、非キーフレームにおけるオブジェクトバウンディングボックスの予測を実行するトラッキングCNN（T-CNN）を導入する。検出処理を非キーフレームで行わない。
• IoUベースの関連付けはキーフレームでのみ適用し、外観ベースの関連付けにより、見失いや再出現したオブジェクトを処理する。
• K=3を最適なキーフレーム間隔として選定することで、誤検出とIDスイッチの両立を最適化し、性能と速度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 圧縮ドメインにおける動き情報は、完全なフレーム復元なしに非キーフレーム間でのオブジェクトトラック伝搬に有効に利用できるか？
• RQ2 検出器と共同で訓練された外観CNNが、オンラインMOTにおけるデータ関連精度をどのように向上させるか？
• RQ3 リアルタイム圧縮ドメイントラッキングにおいて、速度と精度のバランスを取る最適なキーフレーム間隔（K）は何か？
• RQ4 キーフレームのみを処理することで、計算コストをどの程度削減できるか？また、競争力のあるMOTAスコアを維持できるか？
• RQ5 同じ検出パイプラインを用いた場合、最先端のオンラインMOT手法と比較して、本手法の速度と精度はどの程度か？

主な発見

• OTCDは、最先端のオンラインMOT手法と比較して約6倍の高速化を達成しつつ、同等のMOTAスコアを維持する。
• 公開検出結果を用いた場合、OTCDは当時SOTAであったAMIRに比べてMOT16で17倍高速であり、MOTAスコアはわずか1.0%低下にとどまる。
• MOT17では、OTCD 3は33.4 Hzの速度で37.8%のMOTAを達成し、速度は38.4 HzのGM_PHDより低いものの、MOTAは10.5%高い。
• 共同訓練されたA-CNNの使用により、データ関連が向上し、オクルージョン時におけるIDスイッチの減少と耐障害性の向上が確認された。
• Kを1から3に増加させると、IDSとFragが顕著に低下し、再検出頻度の低下に起因するIDの一貫性の向上が示された。
• T-CNNを用いた伝搬により、非キーフレームにおける計算コストが削減されたが、Kが高くなるとオブジェクトの生成／消滅が適切に処理されず、累積的なトラッキング誤差が悪化する傾向が見られた。