[論文レビュー] Object Detection in Videos by Short and Long Range Object Linking

Peng Tang, Chunyu Wang+4 more|arXiv (Cornell University)|Jan 30, 2018

Video Surveillance and Tracking Methods参考文献 29被引用数 9

ひとこと要約

本論文は、短時間および長時間の時間的範囲にわたるオブジェクトチューブレットを連結することで分類精度を向上させる動画オブジェクト検出手法を提案する。空間的・時間的立方体候補、スコア集約を用いたチューブレット回帰、および拡張非最大抑制を用いて重複する検出を抑制し、ImageNet VIDで最先端の性能を達成した。

ABSTRACT

We address the problem of detecting objects in videos with the interest in exploring temporal contexts. Our core idea is to link objects in the short and long ranges for improving the classification quality. Our approach first proposes a set of candidate spatio-temporal cuboids, each of which serves as a container associating the object across short range frames, for a short video segment. It then regresses the precise box locations in each frame over each cuboid proposal, yielding a tubelet with a single classification score which is aggregated from the scores of the boxes in the tubelet. Third, we extend the non-maximum suppression algorithm to remove spatially-overlapping tubelets in the short segment, avoiding tubelets broken by the frame-wise NMS. Finally, we link the tubelets across temporally-overlapping short segments over the whole video, in order to boost the classification scores for positive detections by aggregating the scores in the linked tubelets. Experiments on the ImageNet VID dataset shows that our approach achieves the state-of-the-art performance.

研究の動機と目的

• 短時間および長時間の時間的コンテキストを活用することで、動画内のオブジェクト検出を向上させること。
• フレーム単位の非最大抑制の限界、すなわち一貫性のあるチューブレットを破壊することを是正すること。
• 時間的に重複するチューブレット間で分類スコアを集約することで、検出の信頼性を向上させること。
• 強固なチューブレットリンクにより、動画のセグメント間でオブジェクトの連続性を維持する手法を開発すること。

提案手法

• 短い動画セグメント内でオブジェクトをグループ化するための候補となる空間的・時間的立方体を提案する。
• 各立方体内での正確なオブジェクトバウンディングボックスを回帰し、各チューブレットに1つの分類スコアを割り当てる。
• 個々のボックス予測からのチューブレットスコアを集約して、検出の信頼性を向上させる。
• 非最大抑制を短いセグメント内のチューブレットにまで拡張し、断片化を防ぐ。
• 短いセグメント間で時間的に重複するチューブレットをリンクし、スコア集約によってスコアを向上させる。
• セグメント間の時間的重複を、全動画にわたるチューブレットリンクの基準として用いる。

実験結果

リサーチクエスチョン

• RQ1 短距離および長距離の時間的コンテキストを効果的に統合することで、動画内のオブジェクト検出をどのように向上させられるか？
• RQ2 セグメント間でのチューブレットリンクは、フレーム単位のNMSを上回る検出信頼性を向上させられるか？
• RQ3 時間的に重複するチューブレット間でのスコア集約が、検出性能に与える影響は何か？
• RQ4 拡張NMS戦略は、標準的なフレーム単位のNMSと比較して、どのようにチューブレットの断片化を防いでいるか？

主な発見

• 提案手法はImageNet VIDデータセットで最先端の性能を達成した。
• リンクされたチューブレット間でのスコア集約により、陽性インスタンスの検出信頼性が顕著に向上した。
• 拡張NMSは、フレーム単位の抑制によって引き起こされるチューブレットの断片化を効果的に防止した。
• セグメント間でのチューブレットの時間的リンクにより、より強固で一貫性のあるオブジェクト追跡が可能になった。
• 空間的・時間的立方体の使用により、短いセグメントでの効果的な検出が可能となり、長時間の動画シーケンスへの一般化性能が強化された。