[論文レビュー] CaTDet: Cascaded Tracked Detector for Efficient Object Detection from Video

Huizi Mao, Taeyoung Kong+1 more|arXiv (Cornell University)|Sep 30, 2018

Advanced Neural Network Applications参考文献 6被引用数 15

ひとこと要約

CaTDet は、時間的相関を活用して、KITTI では 5.1–8.7倍、CityPersons では 13.0倍の計算コストを削減する、段階的でトラッカー拡張型の動画用オブジェクト検出システムであり、mAP はほぼ同一を維持しながら、追加遅延がたった 0.3 フレームにとどまる。リアルタイムアプリケーションに特化した新しい遅延メトリック（mD）を導入している。

ABSTRACT

Detecting objects in a video is a compute-intensive task. In this paper we propose CaTDet, a system to speedup object detection by leveraging the temporal correlation in video. CaTDet consists of two DNN models that form a cascaded detector, and an additional tracker to predict regions of interests based on historic detections. We also propose a new metric, mean Delay(mD), which is designed for latency-critical video applications. Experiments on the KITTI dataset show that CaTDet reduces operation count by 5.1-8.7x with the same mean Average Precision(mAP) as the single-model Faster R-CNN detector and incurs additional delay of 0.3 frame. On CityPersons dataset, CaTDet achieves 13.0x reduction in operations with 0.8% mAP loss.

研究の動機と目的

• 自動運転などのアプリケーションにおけるリアルタイム動画オブジェクト検出の高い計算コストに対処すること。
• 動画内の時間的・空間的局所性を活用して、フレーム間の冗長な計算を削減すること。
• 遅延が重要なアプリケーションにおいて、高い検出精度を維持しながら遅延を最小限に抑えるシステムを設計すること。
• リアルタイムシステムにおける実世界のパフォーマンスをよりよく反映するため、平均遅延（mD）という新しい評価指標を導入すること。

提案手法

• 軽量なプロポーザルネットワークと高精度なリファイニングネットワークを備えた段階的検出パイプラインを導入する。
• 履歴検出を用いて、将来のフレームの注目領域（RoI）を予測するトラッカーを統合する。
• トラッカーの出力を用いてリファイニングネットワークの入力を制限し、高価な推論を要する領域の数を削減する。
• プロポーザルネットワークの出力に閾値（C-thresh）を適用し、検出感度と計算負荷のバランスを取る。
• 2段階のトレーニングパイプラインを用いてシステムを最適化する：まずプロポーザルおよびリファイニングネットワークを事前学習し、その後段階的システム全体を微調整する。
• 精度と遅延のトレードオフを評価するために、mAP と提案された mD メトリックの両方を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 動画内の時間的相関を効果的に活用することで、精度を損なわずにオブジェクト検出の計算量を削減できるか？
• RQ2 段階的検出システムにトラッカーを統合すると、検出遅延と mAP にどのような影響を与えるか？
• RQ3 提案された平均遅延（mD）メトリックは、リアルタイム動画検出におけるリCALL と PRECISION とどの程度相関するか？
• RQ4 KITTI や CityPersons のような解像度やアノテーション密度が異なるデータセットにおいて、システムの性能はどの程度異なるか？
• RQ5 トラッカーを削除した場合、特に mAP と遅延の観点から、システムのパフォーマンスにどのような影響が生じるか？

主な発見

• KITTI データセットでは、CaTDet により処理回数が 5.1–8.7倍削減され、mAP に損失はなく、追加遅延はたった 0.3 フレームにとどまる。
• CityPersons データセットでは、CaTDet が処理量を 13.0倍削減しながら、mAP の低下はたった 0.8% にとどまる。
• トラッカーを搭載しない段階的システムは、CaTDet よりも著しく性能が劣り、特に CityPersons ではトラッカーを削除すると mAP が 5% 以上低下する。
• 平均遅延（mD）メトリックはリCALL と強く相関しているが、動作が異なるため、リアルタイムシステムにおける遅延に配慮した評価の必要性が浮き彫りになる。
• システムはプロポーザルネットワークや C-thresh の選択に敏感であり、より高い閾値に設定すると、処理されるプロポーザルが減るため遅延が増加する。
• 可視化結果から、小さなオブジェクト（例：歩行者）は遅延に対して特に感受性が高く、初期フレームで見逃されやすくなることが確認された。