[論文レビュー] Fast and Resource-Efficient Object Tracking on Edge Devices: A Measurement Study

Sanjana Vijay Ganesh, Yanzhao Wu+3 more|arXiv (Cornell University)|Sep 6, 2023

IoT and Edge/Fog ComputingComputer Science被引用数 3

ひとこと要約

本論文では、エッジデバイスにおけるリアルタイムでリソース効率の良いマルチオブジェクトトラッキングのための文脈に配慮した、動的フレームスキッピングフレームワークであるEMOを提案する。動きの予測可能性と視覚的類似性に基づいて動的にフレームをスキップし、カルマンフィルタを用いて位置推定を行うことで、計算量を33–50%削減しながら、ほぼベースライン水準のトラッキング精度（HOTA損失 <0.5%）を維持する。

ABSTRACT

Object tracking is an important functionality of edge video analytic systems and services. Multi-object tracking (MOT) detects the moving objects and tracks their locations frame by frame as real scenes are being captured into a video. However, it is well known that real time object tracking on the edge poses critical technical challenges, especially with edge devices of heterogeneous computing resources. This paper examines the performance issues and edge-specific optimization opportunities for object tracking. We will show that even the well trained and optimized MOT model may still suffer from random frame dropping problems when edge devices have insufficient computation resources. We present several edge specific performance optimization strategies, collectively coined as EMO, to speed up the real time object tracking, ranging from window-based optimization to similarity based optimization. Extensive experiments on popular MOT benchmarks demonstrate that our EMO approach is competitive with respect to the representative methods for on-device object tracking techniques in terms of run-time performance and tracking accuracy. EMO is released on Github at https://github.com/git-disl/EMO.

研究の動機と目的

• リソース制限のあるエッジデバイスで可変フレームレートを想定したリアルタイムマルチオブジェクトトラッキング（MOT）の課題に対処すること。
• 固定周期のフレームスキッピングの限界（例：リソースの圧力下での一貫性の欠如やフレームの損失）を特定すること。
• 動きと視覚的類似性に応じて動的に適応する文脈に配慮したフレームスキッピング戦略を提案し、リソース使用を最適化すること。
• エッジハードウェア上で計算コストを最小限に抑えながらも、高いトラッキング精度（例：HOTA）を維持すること。
• クラウドベースの処理に依存するのを減らすことで、スケーラブルでプライバシーを守るエッジ動画分析を可能にすること。

提案手法

• 正規化相互相関（NCC）を用いたフレーム類似度評価と、オブジェクト軌道解析による動きの予測可能性を活用した文脈に配慮したスキップメカニズムを導入する。
• スキップされたフレームにおけるオブジェクト位置推定にカルマンフィルタを用い、直前の検出結果の単純再利用よりも局所化精度を向上させる。
• 視覚的類似性と動きの安定性に基づいて、安全にフレームをスキップできるかどうかを判断する意思決定モジュールを設計し、検出頻度を必要な場合にのみ低減する。
• YOLOv3 や Faster R-CNN などの既存の検出ベーストラッキングパイプラインと EMO フレームワークを統合する。
• 決定および推定のオーバーヘッドを最小限に抑えることでランタイムを最適化し、MOT-17 および MOT-15 において意思決定時間は検出時間の 1/9 から 1/20 にまで短縮される。
• MOTChallengeベンチマーク（MOT-15、MOT-17）を用い、さまざまなフレームレートと動き状態下で本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定周期のフレームスキッピングは、リソース制限のあるエッジデバイスにおけるマルチオブジェクトトラッキングの精度とパフォーマンスにどのように影響を与えるか？
• RQ2 視覚的類似性と動き予測可能性に基づく適応的フレームスキッピングは、トラッキング品質を劣化させることなく、計算コストをどの程度削減できるか？
• RQ3 スキップされたフレームにおける位置推定にカルマンフィルタを使用する場合と、直前の検出結果を単純再利用する場合とを比較すると、局所化精度はどのように異なるか？
• RQ4 多様な動きダイナミクスを示す動画シーケンスにおいて、フレームスキップ率とトラッキングパフォーマンスの最適なバランスは何か？
• RQ5 実際のエッジデプロイメント環境において、EMOフレームワークは、スキップなしのベースライン戦略やヒューリスティックベースのスキッピング戦略と比較して、どのように性能を発揮するか？

主な発見

• EMOフレームワークは、スキップなしのベースラインと比較して、MOT-15 では総計算時間を33%、MOT-17 では50%削減し、それぞれ38%および60%のフレームスキップ率を達成した。
• 提案された文脈に配慮したスキップアプローチは、動きが安定しており視覚的類似性が高い場合、高フレームレート動画（例：25 FPS）で最大60%のフレームをスキップできる。
• スキップされたフレームにおける位置推定にカルマンフィルタを用いることで、特に低速移動状態下で、直前の検出結果の再利用よりも局所化精度が向上した。
• NCC と動き予測可能性に基づくフレームスキップ意思決定により、HOTAスコアはわずか0.5%の低下に抑えられ、精度損失が最小限であることが示された。
• フレーム意思決定の平均時間は、検出時間の1/9から1/20にまで短縮されており、実用上はオーバーヘッドが無視できるほど小さい。
• EMOフレームワークは、リソース消費を顕著に削減しながらも、競争力のあるトラッキング精度を維持しており、計算能力と帯域幅に制限のあるエッジデバイスへのデプロイメントに適している。