[論文レビュー] Object Detection in Videos by High Quality Object Linking

Peng Tang, Chunyu Wang+4 more|arXiv (Cornell University)|Jan 30, 2018

Advanced Neural Network Applications参考文献 42被引用数 7

ひとこと要約

本論文は、立方体候補ネットワーク（CPN）、短いチューブレット検出、およびセグメント間のチューブレットリンクを用いて、同じフレーム内でのオブジェクトを連結することで検出精度を向上させる、動画オブジェクト検出の新規フレームワークを提案する。同じフレーム内でのリンクを活用することで時間的整合性を確保し、ImageNet VIDにおける高速移動オブジェクトの検出において、静的画像検出器よりも8.8%の絶対的なmAP向上を達成した。

ABSTRACT

Compared with object detection in static images, object detection in videos is more challenging due to degraded image qualities. An effective way to address this problem is to exploit temporal contexts by linking the same object across video to form tubelets and aggregating classification scores in the tubelets. In this paper, we focus on obtaining high quality object linking results for better classification. Unlike previous methods that link objects by checking boxes between neighboring frames, we propose to link in the same frame. To achieve this goal, we extend prior methods in following aspects: (1) a cuboid proposal network that extracts spatio-temporal candidate cuboids which bound the movement of objects; (2) a short tubelet detection network that detects short tubelets in short video segments; (3) a short tubelet linking algorithm that links temporally-overlapping short tubelets to form long tubelets. Experiments on the ImageNet VID dataset show that our method outperforms both the static image detector and the previous state of the art. In particular, our method improves results by 8.8% over the static image detector for fast moving objects.

研究の動機と目的

• 運動によるぼやけやボケの影響による動画オブジェクト検出における画像品質の低下を緩和すること。
• 高品質なオブジェクトリンクを通じて時間的文脈を活用することで、検出精度を向上させること。
• 特に高速移動オブジェクトに対して、隣接フレーム間のリンクに起因する制限を克服すること。
• 同じフレーム内での空間的オーバーラップに注目することで、頑健なオブジェクトリンクを実現すること。
• ImageNet VIDデータセットにおいて最先端のパフォーマンスを達成すること。

提案手法

• オブジェクトのフレーム間での動きを覆うスパatio-時系列的候補立方体を生成するための立方体候補ネットワーク（CPN）を導入する。
• フレーム単位のR-CNNスタイル検出を用いて短い動画セグメント内のオブジェクトインスタンスを検出する短いチューブレット検出ネットワークを適用する。
• 非最大抑制（NMS）をチューブレット全体に拡張するために、チューブレット間のオーバーラップを測定する。
• 同じフレーム内での空間的オーバーラップに基づいて、時間的に重複するチューブレットを統合する短いチューブレットリンクアルゴリズムを用いる。
• リンクされたチューブレット間で分類スコアを統合することで、検出の信頼性を向上させる。
• 長距離の時間的文脈モデリングを可能にするために、重複する短いセグメントで動画を処理する。

実験結果

リサーチクエスチョン

• RQ1 隣接フレーム間のリンクと比較して、同じフレーム内でのオブジェクトリンクは検出品質を向上させるか？
• RQ2 立方体候補の使用が、動画内のオブジェクトリンクの品質をどのように向上させるか？
• RQ3 短いチューブレット検出とリンクの組み合わせが、高速移動オブジェクトのmAPにどの程度の向上効果をもたらすか？
• RQ4 リンクされたチューブレット間でのスコア統合は、低品質なフレームにおける誤検出（偽陰性）を減少させるか？
• RQ5 本手法は、静的画像検出器および先行の動画検出手法と比較して、mAPおよび運動ぼやけに対する耐性の観点でどの程度優れているか？

主な発見

• 本手法は、ImageNet VIDデータセットで74.5%の平均平均精度（mAP）を達成し、静的画像検出器および先行の最先端手法を上回った。
• 高速移動オブジェクトに対して、本手法は静的画像検出器よりもmAPを8.8%向上させ、運動ぼやけに対する強い耐性を示した。
• 立方体候補ネットワークにより、同じフレーム内でのリンクが可能となり、隣接フレーム間リンクと比較して局所化精度が顕著に向上した。
• 短いチューブレットリンク部は、重複する動画セグメント間の長距離時間的文脈を活用することで、検出性能を向上させた。
• 2フレームセグメントあたり0.35秒の実行時間であり、静的検出器と同等の速度であり、より長いセグメントでは共有特徴計算のおかげでさらに高速化された。
• 可視化結果から、本手法が局所化誤差を低減し、特に困難なフレームにおいてチューブレットの連続性を向上させていることが確認された。